Modellfria djupt förstärkande inlärningsalgoritmer har visat sig kunna lära sig ett brett spektrum av robotiska färdigheter, men kräver vanligtvis ett mycket stort antal prover för att uppnå god prestanda. Modellbaserade algoritmer, i princip, kan ge mycket effektivare lärande, men har visat sig svåra att utvidga till expressiva modeller med hög kapacitet såsom djupa neurala nätverk. I detta arbete, visar vi att neurala nätverksdynamik modeller kan i själva verket kombineras med modell prediktiv kontroll (MPC) för att uppnå utmärkt prov komplexitet i en modellbaserad förstärkning lärande algoritm, producerar stabila och rimliga gångarter som utför olika komplexa locomotion uppgifter. Vi föreslår vidare att man använder modeller för djup neural nätverksdynamik för att initiera en modellfri inlärare, för att kombinera proveffektiviteten hos modellbaserade metoder med den höga uppgiftsspecifika prestandan hos modellfria metoder. Vi demonstrerar empiriskt på MuJoCo locomotion uppgifter att vår rena modellbaserade metod tränas på bara slumpmässiga åtgärder data kan följa godtyckliga banor med utmärkt proveffektivitet, och att vår hybridalgoritm kan påskynda modellfri inlärning på höghastighetsriktmärke uppgifter, uppnå prov effektivitetsvinster på 3 − 5× på simmare, gepard, tratt och myragenter. Videor finns på https://sites.google.com/view/mbmf
I vårt tidigare arbete med modellbaserad förstärkningsutbildning REF studerade vi hur neurala nätverksmodeller kan möjliggöra proveffektiv inlärning av rörelsefärdigheter för simulerade referensuppgifter, genom en kombination av modellbaserat lärande och modellfri finjustering.
Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning
{'venue': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Mathematics', 'Engineering', 'Computer Science']}