Sammanfattning av denna webbsida: Vi föreslår en allmän och modellfri strategi för förstärkningslärande (RL) om verklig robotik med glesa belöningar. Vi bygger på algoritmen Deep Deterministic Policy Gradient (DDPG) för att använda demonstrationer. Både demonstrationer och faktiska interaktioner används för att fylla en replay-buffert och provtagningsförhållandet mellan demonstrationer och övergångar justeras automatiskt via en prioriterad replay-mekanism. Vanligtvis krävs noggrant utformade formbelöningar för att göra det möjligt för agenterna att effektivt utforska problem med högdimensionell kontroll, t.ex. robotik. De krävs också för modellbaserade accelerationsmetoder som bygger på lokala lösare såsom iLQG (t.ex. Guidad policy Sök och normaliserad fördel funktion). Demonstrationerna ersätter behovet av noggrant utformade belöningar och minskar det undersökningsproblem som klassiska RL-strategier på dessa områden stöter på. Demonstrationer samlas in av en robot som styrs av en mänsklig demonstrator. Resultaten av fyra simulerade insättningsuppgifter visar att DDPG från demonstrationer ut-performar DDPG, och inte kräver konstruerade belöningar. Slutligen demonstrerar vi metoden på en riktig robotisk uppgift som består i att infoga ett klipp (flexibelt objekt) i ett stelt objekt.
Till exempel, i REF författarna förlitar sig på en Deep Deterministic Policy Gradient strategi för att utnyttja expertdemonstration i objektinsättning uppgifter.
Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}