Abstract-Deep Förstärkning Lärande (DRL) har tillämpats framgångsrikt på många robotiska applikationer. Det stora antal försök som krävs för utbildning är dock en nyckelfråga. De flesta befintliga tekniker har utvecklats för att förbättra utbildningens effektivitet (t.ex. imitation) inriktas på allmänna uppgifter i stället för att skräddarsys för robottillämpningar, som har sitt specifika sammanhang att dra nytta av. Vi föreslår ett nytt ramverk, Assisted Förstärkning Inlärning, där en klassisk controller (t.ex. en PID-kontrollant) används som en alternativ, utbytbar policy för att påskynda utbildningen av DRL för lokala planerings- och navigeringsproblem. Kärnan är att den enkla kontrolllagen gör det möjligt för roboten att snabbt lära sig förnuftiga primitiver, som att köra i en rak linje, istället för slumpmässig utforskning. När aktörsnätverket blir mer avancerat kan det sedan ta över för att utföra mer komplexa åtgärder, som att undvika hinder. Så småningom kan den enkla styrenheten kastas helt och hållet. Vi visar att inte bara denna teknik tränar snabbare, den är också mindre känslig för strukturen i DRL-nätverket och konsekvent överträffar ett standard Deep Deterministic Policy Gradient-nätverk. Vi demonstrerar resultaten i både simulering och verkliga experiment.
Vid stöd till deterministiska politiska gradienter (AsDDPG) föreslår REF en ny arkitektur för att införa en enkel styrenhet för att styra den inledande prospekteringsfasen.
Learning with Training Wheels: Speeding up Training with a Simple Controller for Deep Reinforcement Learning
{'venue': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Computer Science']}