Djupt förstärkande inlärningsagenter har uppnått toppmoderna resultat genom att direkt maximera den kumulativa belöningen. Men miljöer innehåller ett mycket bredare utbud av möjliga träningssignaler. I den här artikeln introducerar vi en agent som också maximerar många andra pseudo-lönefunktioner samtidigt genom att förstärka lärandet. Alla dessa uppgifter har en gemensam representation som, i likhet med oövervakat lärande, fortsätter att utvecklas i avsaknad av extrinsiska belöningar. Vi inför också en ny mekanism för att fokusera denna representation på extrinsiska belöningar, så att lärande snabbt kan anpassas till de mest relevanta aspekterna av den faktiska uppgiften. Vår agent överträffar betydligt tidigare tillstånd av hjärta på Atari, i genomsnitt 880% expert mänskliga prestanda, och en utmanande svit av första person, tredimensionella Labyrinth uppgifter som leder till en genomsnittlig hastighet i lärande av 10× och i genomsnitt 87% expert mänskliga prestanda på Labyrinth. Naturliga och artificiella medel lever i en ström av sensorimotoriska data. Vid varje tidpunkt steg t, tar agenten emot observationer o t och utför åtgärder a t. Dessa åtgärder påverkar framtida kurs sensorimotor ström. I detta papper utvecklar vi agenter som lär sig att förutsäga och styra denna ström, genom att lösa en mängd förstärkande inlärningsproblem, var och en med fokus på en distinkt egenskap hos sensormotor ström. Vår hypotes är att en agent som flexibelt kan kontrollera sina framtida erfarenheter också kommer att kunna uppnå alla mål med vilka den presenteras, såsom att maximera sina framtida belöningar. Det klassiska förstärkande inlärningsparadigmet fokuserar på maximering av extrinsisk belöning. Men på många intressanta områden är det bara sällan man ser några extrinsiska belöningar. Detta väcker frågor om vad och hur man lär sig i deras frånvaro. Även om extrinsiska belöningar är vanliga, den sensormotoriska strömmen innehåller ett överflöd av andra möjliga inlärningsmål. Traditionellt, oövervakade inlärning försök att rekonstruera dessa mål, såsom pixlar i den aktuella eller efterföljande ramen. Det används vanligtvis för att påskynda förvärvet av en användbar representation. Däremot är vårt inlärningsmål att förutsäga och kontrollera funktioner i sensormotor ström, genom att behandla dem som pseudorewards för förstärkning lärande. Intuitivt, denna uppsättning uppgifter är närmare matchade med agentens långsiktiga mål, potentiellt leder till mer användbara representationer. Tänk på ett barn som lär sig att maximera den kumulativa mängden rött som det observerar. För att korrekt förutsäga det optimala värdet måste barnet förstå hur man ökar "rödheten" på olika sätt, inklusive manipulering (för ett rött objekt närmare ögonen), rörelse (rör sig framför ett rött objekt), och kommunikation (gråta tills föräldrarna tar med ett rött objekt). Dessa beteenden kommer sannolikt att återkomma för många andra mål som barnet senare kan stöta på. Det krävs ingen förståelse för dessa beteenden för att helt enkelt rekonstruera rodnaden hos aktuella eller efterföljande bilder. Vår arkitektur använder förstärkningslärande för att approximera både den optimala policyn och den optimala värdefunktionen för många olika pseudo-belönade. Det gör också andra extra förutsägelser som tjänar till att fokusera agenten på viktiga aspekter av uppgiften. Dessa inkluderar det långsiktiga målet att förutsäga kumulativ extrinsisk belöning samt kortsiktiga förutsägelser av extrinsisk belöning. För att lära sig mer effektivt, våra agenter använder en erfarenhet replay mekanism för att ge ytterligare uppdateringar * Joint first författare. Ordnat alfabetiskt efter förnamn.
I Ref. REF många förstärkande inlärningsagenter med olika uppgifter har en gemensam representation som håller på att utvecklas under utbildningen.
Reinforcement Learning with Unsupervised Auxiliary Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}