Djupt förstärkande inlärning har uppnått många imponerande resultat under de senaste åren. Men uppgifter med glesa belöningar eller långa horisonter fortsätter att innebära stora utmaningar. För att ta itu med dessa viktiga problem föreslår vi en allmän ram som först lär sig användbara färdigheter i en förutbildningsmiljö och sedan utnyttjar de förvärvade färdigheterna för att lära sig snabbare i efterföljande arbetsuppgifter. Vår strategi sammanför några av de starka sidorna av inneboende motivation och hierarkiska metoder: lärandet av användbar skicklighet styrs av en enda proxy belöning, vars utformning kräver mycket minimal domän kunskap om nedströms uppgifter. Sedan tränas en policy på hög nivå utöver dessa färdigheter, vilket ger en betydande förbättring av prospekteringen och gör det möjligt att ta itu med glesa belöningar i nedströmsuppgifterna. För att effektivt pre-traine en stor spännvidd av färdigheter, använder vi Stochastic Neural Networks i kombination med en informations-teoretisk regularizer. Våra experiment 1 visar 2 att denna kombination är effektiv för att lära sig en bred spännvidd av tolkningsbara färdigheter på ett urvalseffektivt sätt, och kan avsevärt öka inlärningsprestandan jämnt över ett brett spektrum av nedströmsuppgifter.
REF utbildade ett stokastiskt neuralt nätverk med ömsesidig information legalisering för att upptäcka färdigheter.
Stochastic Neural Networks for Hierarchical Reinforcement Learning
{'venue': 'International Conference on Learning Representations 2017', 'journal': None, 'mag_field_of_study': ['Computer Science']}