Utforskning i miljöer med glesa belöningar har varit ett ihållande problem när det gäller att stärka inlärningen (RL). Många uppgifter är naturliga att specificera med en gles belöning, och manuellt forma en belöning funktion kan resultera i suboptimal prestanda. Men att hitta en icke-noll belöning är exponentiellt svårare med ökande uppgiftshorisont eller handling dimensionalitet. Detta gör att många verkliga uppgifter är utom praktisk räckvidd för RL-metoder. I detta arbete använder vi demonstrationer för att övervinna prospekteringsproblemet och framgångsrikt lära oss att utföra lång-horisont, flera steg robotik uppgifter med kontinuerlig kontroll såsom stapling block med en robot arm. Vår metod, som bygger på Deep Deterministic Policy Gradients och Hindsight Experience Replay, ger en storleksordning av hastighet över RL på simulerade robotiska uppgifter. Det är enkelt att genomföra och gör bara det ytterligare antagandet att vi kan samla in en liten uppsättning demonstrationer. Dessutom kan vår metod lösa uppgifter som inte går att lösa genom antingen RL eller beteende kloning ensam, och ofta slutar det med att man överträffar demonstratorpolicyn.
Exploration i miljöer med en gles belöning har varit ett ihållande problem i Förstärkning Lärande, vilket ofta gäller i många robotapplikationer samt REF.
Overcoming Exploration in Reinforcement Learning with Demonstrations
{'venue': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Mathematics', 'Engineering', 'Computer Science']}