Policysökning kan i princip förvärva komplexa strategier för kontroll av robotar och andra autonoma system. När policyn tränas för att bearbeta råa sensoriska ingångar, såsom bilder och djupkartor, kan den också få en strategi som kombinerar perception och kontroll. Men effektivt bearbetning sådana komplexa ingångar kräver en expressiv policy klass, såsom ett stort neuralt nätverk. Denna högdimensionella politik är svår att genomföra, särskilt när det gäller att lära sig kontrollera säkerhetskritiska system. Vi föreslår PLATO, en kontinuerlig, återställningsfri förstärkande inlärningsalgoritm som utbildar komplexa kontrollstrategier med övervakat lärande, med hjälp av modellprediktiv kontroll (MPC) för att generera tillsynen, därför aldrig i behov av att köra en delvis utbildad och potentiellt osäker politik. PLATO använder en adaptiv utbildningsmetod för att ändra beteendet hos MPC för att gradvis matcha den inlärda politiken för att generera träningsprover vid stater som sannolikt kommer att besökas av den inlärda politiken. PLATO upprätthåller också kostnaden för MPC som ett mål att undvika mycket oönskade åtgärder som skulle bli resultatet av att strikt följa den inlärda politiken innan den har fått full utbildning. Vi visar att denna typ av adaptiv MPC expert producerar övervakning som leder till bra långhorisont prestanda av den resulterande politiken.Vi visar också empiriskt att MPC fortfarande kan undvika farliga on-policy åtgärder i oväntade situationer under utbildningen. Våra empiriska resultat på en uppsättning utmanande simulerade flygfordons uppgifter visar att jämfört med tidigare metoder lär sig PLATO snabbare, upplever betydligt färre katastrofala misslyckanden (krascher) under utbildningen, och ofta konvergerar till en bättre politik.
Kahn m.fl. REF ska ytterligare anpassa MPC-experten till att ta fram utbildningsprov för de stater som sannolikt kommer att besökas.
PLATO: Policy learning using adaptive trajectory optimization
{'venue': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Mathematics', 'Computer Science']}