Robust inlärning i verkligheten bör dra nytta av både demonstrationer och interaktioner med miljön. Nuvarande metoder för att lära från demonstration och belöning utför övervakad inlärning på expertdemonstrationsdata och använder förstärkande lärande för att ytterligare förbättra prestanda baserat på den belöning som erhållits från miljön. Dessa uppgifter har olika förluster som är svåra att gemensamt optimera och sådana metoder kan vara mycket känsliga för bullriga demonstrationer. Vi föreslår en enhetlig förstärkning av inlärningsalgoritm, Normalized Actor-Critic (NAC), som effektivt normaliserar Q-funktionen, vilket minskar Q-värdena av åtgärder som inte syns i demonstrationsdata. NAC lär sig ett första politiskt nätverk av demonstrationer och förfinar miljöpolitiken och överträffar demonstratorernas resultat. Avgörande är att både lärande från demonstration och interaktiv förfining använder samma mål, till skillnad från tidigare metoder som kombinerar distinkta övervakade och förstärkningsförluster. Detta gör NAC robust till suboptimala demonstrationsdata, eftersom metoden inte tvingas härma alla exempel i datasetet. Vi visar att vår enhetliga förstärkande inlärningsalgoritm kan lära sig robust och överträffa befintliga baslinjer när den utvärderas på flera realistiska körspel.
REF introducerade en hybrid imitation och förstärkning lärande algoritm som lär sig från ofullständiga demonstrationer för att förbättra prestanda på uppgifter i realistiska 3D-simuleringar.
Reinforcement Learning from Imperfect Demonstrations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}