Vi presenterar en metod för att använda tidigare utbildade "lärare" agenter för att kickstarta utbildningen av en ny "student" agent. I detta syfte utnyttjar vi idéer från policydestillation (Rusu et al., 2015; Parisotto et al., 2015) och befolkningsbaserad utbildning (Jaderberg et al., 2017). Vår metod sätter inga begränsningar på lärarens eller studentagenternas arkitektur, och den reglerar sig själv för att låta eleverna överträffa sina lärare i prestanda. Vi visar att, på en utmanande och beräkningsintensiv multi-task-riktmärke (Beattie et al., 2016), kickstartade utbildning förbättrar dataeffektiviteten hos nya agenter, vilket gör det betydligt lättare att iterera på deras design. Vi visar också att samma kickstartande pipeline kan göra det möjligt för en enskild studentagent att utnyttja flera "expert" lärare som specialiserar sig på enskilda uppgifter. I denna inställning kickstart ger förvånansvärt stora vinster, med kickstartade agent matcha prestanda en agent tränas från grunden i nästan 10× färre steg, och överträffar sin slutliga prestanda med 42%. Kickstarting är konceptuellt enkelt och kan enkelt integreras i förstärkande inlärningsexperiment.
Schmitt m.fl. REF bygger också vidare på idén om policydestillering men föreslår dessutom att lärarsignalen ska vara sådan att studenten kan överträffa lärarens prestationer.
Kickstarting Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}