Det kan hävdas att intelligenta agenter borde kunna upptäcka sina egna frågor så att de, när de lär sig svaren för dem, lär sig oförutsedd användbar kunskap och färdigheter; detta avviker från fokus i en stor del av maskininlärningen på agenter som lär sig svar på externt definierade frågor. Vi presenterar en ny metod för en förstärkande inlärningsagent (RL) för att upptäcka frågor formulerade som allmänna värdefunktioner eller GVFs, en ganska rik form av kunskapsrepresentation. Speciellt använder vår metod icke-myopiska meta-gradienter för att lära GVF-frågor så att lära svar på dem, som en extra uppgift, framkallar användbara representationer för huvuduppgiften som RL-agenten står inför. Vi visar att extra uppgifter baserade på de upptäckta GVFs är tillräckliga, på egen hand, för att bygga representationer som stöder huvuduppgiftsinlärning, och att de gör det bättre än populära handgjorda hjälpuppgifter från litteraturen. Dessutom visar vi, i samband med Atari 2600 videospel, hur sådana extra uppgifter, meta-lärda vid sidan av huvuduppgiften, kan förbättra dataeffektiviteten hos en skådespelare-kritisk agent. En allt viktigare del av den senaste tidens strategier för att utveckla flexibla, autonoma agenter ställer användbara frågor om framtiden för agenten att lära sig att svara på av erfarenhet. Frågorna kan ta sig många former och tjäna många syften. Svaren på förutsägelser eller kontrollfrågor om lämpliga förhållanden i stater kan direkt bilda användbara representationer av tillstånd (Singh et al., 2004). Alternativt kan förutsägelse- och kontrollfrågor definiera hjälpuppgifter, som driver representationsinlärning med hjälp av en huvuduppgift (Jaderberg m.fl., 2017). Målvillkorliga frågor kan också driva förvärv av en rad olika färdigheter, även innan huvuduppgiften är känd, utgör en grund för policysammansättning eller prospektering (Andrychowicz et al., 2016; Veeriah et al., 2018; Florensa et al., 2018; Mankowitz et al., 2018; Riedmiller et al., 2018). I detta dokument, vi överväga frågor i form av allmänna värdefunktioner (GVFs, Sutton et al., 2011), med syftet att använda de upptäckta GVFs som hjälpuppgifter för att underlätta inlärningen av en huvudsakliga förstärkning lärande (RL) uppgift. Vi valde GVF-formuleringen för dess flexibilitet: enligt belöningshypotesen (Sutton & Barto, 2018) kan alla mål formuleras i form av en skalär signal, eller kumulering, vars rabatterade summa måste maximeras. Dessutom har GVF-baserade hjälpuppgifter visats i tidigare arbete för att förbättra proveffektiviteten hos förstärkande inlärningsagenter som arbetar med att lära sig några komplexa uppgifter (Mirowski et al., 2017; Jaderberg et al., 2017). I litteraturen krävde GVF-baserade hjälpuppgifter vanligtvis en agent för att uppskatta diskonterade summor av lämpliga hantverksmässiga funktioner av staten, kumulanter i GVF terminologin, under handgjorda rabattfaktorer. Det visades sedan att genom att kombinera gradienter från att lära extra GVFs med uppdateringar från huvuduppgiften, var det möjligt att påskynda representation lärande och förbättra prestanda. Det föll dock på algoritmdesignern att designa frågor som var användbara för den specifika uppgiften. Detta är en begränsning eftersom inte alla frågor är lika väl i linje med huvuduppgiften (Bellemare et al., 2019), och om detta är fallet kan vara svårt att förutsäga i förväg. Tidningen ger tre bidrag. För det första föreslår vi en principiell allmän metod för automatisk upptäckt av frågor i form av GVF, för användning som hjälpuppgifter. Huvudidén är att använda metagradient RL för att upptäcka frågorna så att svar på dem maximerar nyttan av den inducerade representationen på huvuduppgiften. Detta tar bort behovet av att handdesigna extra uppgifter som matchas med miljön eller agenten. Vårt andra bidrag är att empiriskt visa framgången av icke-myopiska meta-gradient RL i stora, utmanande områden i motsats till de ungefärliga och myopiska meta-gradient metoder från tidigare arbete (Xu et al., 2018; Zheng et al., 2018) ; den icke-myopiska beräkningen av meta-gradient visade sig nödvändig för att framgångsrikt lära sig användbara frågor och bör tillämpas mer allmänt på andra tillämpningar av meta-gradienter. Slutligen visar vi i samband med Atari 2600 videospel att en sådan upptäckt av hjälpuppgifter kan förbättra dataeffektiviteten hos en skådespelare-kritisk agent, när dessa är meta-lärda längs med huvuduppgiften. Kort bakgrund om GVF: Standardvärdefunktioner i RL definierar en fråga och dess svar; frågan är "vad är den diskonterade summan av framtida belöningar enligt någon policy?" och svaret är den ungefärliga värdefunktionen. Generaliserade värdefunktioner, eller GVFs, generalisera standardvärdefunktionen för att möjliggöra godtyckliga kumulerande funktioner i stater i stället för belöningar, och specificeras av kombinationen av en sådan kumulantfunktion med en rabattfaktor och en policy. Denna generalisering av standardvärdefunktioner gör det möjligt för GVF att uttrycka ganska allmän prediktiv kunskap och, i synnerhet, tid-skillnad (TD) metoder för lärande värdefunktioner kan utvidgas till att lära förutsägelser/svar av GVFs. Vi hänvisar till Sutton et al. (2011) för ytterligare uppgifter. Tidigare arbete med hjälpuppgifter i RL: Jaderberg et al. (2017) i stor utsträckning utforskade potentialen, för RL-agenter, att gemensamt lära sig den representation som används för att lösa huvuduppgiften och ett antal GVF-baserade hjälpuppgifter, såsom pixel-kontroll- och funktionskontrolluppgifter baserade på kontroll av förändringar i pixelintensiteter och funktionsaktiveringar; denna klass av hjälpuppgifter användes också i multi-task-inställningen av Hessel et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Andra aktuella exempel på hjälpuppgifter inkluderar djup- och loop stängning klassificering (Mirowski et al., 2017), observation rekonstruktion, belöning förutsägelse, omvänd dynamik förutsägelse (Shelhamer et al., 2017), och många mål lärande (Veeriah et al., 2018). Ett geometriskt perspektiv på hjälpuppgifter introducerades av Bellemare et al. (2019)................................................................. Tidigare arbete med meta-lärande: Nyligen har det funnits ett stort intresse för att utforska meta-lärande eller lära sig. En metalearner förbättrar gradvis inlärningsprocessen för en inlärare (Schmidhuber et al., 1996; Thrun & Pratt, 1998) som försöker lösa någon uppgift. I det senaste arbetet med meta-lärande ingår att lära sig goda politiska initialiseringar som snabbt kan anpassas till nya uppgifter (Finn m.fl., 2017; Al-Shedivat m.fl., 2018), förbättra inlärningsresultat (Mishra et al., 2018; Duan et al., 2017; Snell et al., 2017), lära sig utforska (Stadie et al., 2018 ), oövervakat lärande (Gupta et al., 2018 Hsu et al., 2018), få-shot modellanpassning (Nagabandi et al., 2018), och förbättra optimerarna (Andrychowicz et al., 2016; Li & Malik, 2017; Ravi & Larochelle, 2017; Wichrowska et al., 2017; Chen et al., 2016;...................................................................................... Tidigare arbete med meta-gradienter: Xu et al. (2018) formaliserade meta-gradients, en form av metalearning där meta-learner tränas via gradienter genom effekten av meta-parameters på en elev också tränas via gradienter. I motsats till mycket arbete inom meta-lärande som fokuserar på multi-task lärande, Xu et al. (2018) formaliserade användningen av meta-gradienter på ett sätt som också är tillämpligt på den enda uppgiftsinställningen, men inte begränsat till den. De illustrerade sitt tillvägagångssätt genom att använda meta-gradienter för att anpassa både rabattfaktorn γ och bootstrappningsfaktorn λ för en förstärkande inlärningsagent, avsevärt förbättra prestandan för en skådespelare-critic agent på många Atari spel. Samtidigt Zheng et al. (2018) använde meta-gradienter för att lära sig inneboende belöningar, vilket visar att maximering av en summa extrinsiska och inneboende belöningar kan förbättra en agents prestation på ett antal Atari spel och MuJoCo uppgifter. Xu och al. (2018) diskuterade möjligheten att beräkna meta-gradienter på ett icke-myopiskt sätt, men deras föreslagna algoritm, som Zheng et al. (2018), införde en allvarlig approximation och endast mätte de omedelbara konsekvenserna av en uppdatering. Figur 1: En arkitektur för upptäckt: Till vänster, huvuduppgiften och svara nätverk med parametrar  på; det tar tidigare observationer som inmatning och parameteriserar (direkt eller indirekt) en politik π samt svaren på GVF-frågorna. Till höger, frågenätverket med parametrar η; det tar framtida observationer som indata och parameteriserar de kumulanter och rabatter som anger GVF. I detta avsnitt presenterar vi en neural nätverk arkitektur och en principiell meta-gradient algoritm för upptäckt av GVF-baserade frågor för användning som hjälpuppgifter i samband med djupa RL-agenter. Den neurala nätverk arkitektur vi anser har två nätverk: den första, till vänster i Figur 1, tar den sista i observationer o t-i+1:t som ingångar, och parameterises (direkt eller indirekt) en politik π för den viktigaste förstärkningen lärande uppgift, tillsammans med GVF-predictions för ett antal upptäckta kumulanter och rabatter. Vi använder  underförstått för att beteckna parametrarna i detta första nätverk. Det andra nätverket, kallat frågenätet, beskrivs till höger i figur 1. Det tar som indata j framtida observationer o t+1:t+j och, genom meta-parametrarna η, beräknar värdena för en uppsättning kumulanter u t och deras motsvarande rabatter γ t (både ut och γ t är därför vektorer). Användningen av framtida observationer o t+1:t+j som indata till frågenätverket kräver att vi väntar j steg för att utveckla innan beräkning av kumulanter och rabatter; detta är godtagbart eftersom frågan och svar nätverk används endast under utbildning, och inte heller behövs för åtgärdsval. Som diskuteras i avsnitt 1 specificeras en GVF-fråga av en kumulantfunktion, en rabattfunktion och en policy. I vår metod paraferar frågenätverket endast uttryckligen rabatter och kumulanter, eftersom vi betraktar GVF på policynivå, och därför kommer politiken alltid underförstått att vara den senaste huvuduppgiftspolitiken π. Observera dock att eftersom varje kumulant är en funktion av framtida observationer, som påverkas av de åtgärder som väljs av huvuduppgiftspolitiken, är kumulant- och rabattfunktionerna icke-stationära, inte bara för att vi lär oss parametrarna frågenätverk, utan också för att huvuduppgiftspolitiken i sig förändras allteftersom lärandet fortskrider. Tidigare arbete med hjälpuppgifter i förstärkningslärande kan tolkas som att bara använda nätverket till vänster, eftersom de kumulerande funktionerna var handgjorda och inte hade några (meta-)lärbara parametrar; tillgängligheten av ett separat "frågenätverk" är en kritisk komponent i vårt tillvägagångssätt för upptäckt, eftersom det gör det möjligt för agenten att av erfarenhet upptäcka de mest lämpliga frågorna om framtiden som ska användas som hjälpuppgifter. Terminologin för fråge- och svarsnät härrör från arbetet med TD-nätverk (Sutton & Tanner, 2005) ; vi hänvisar till Makino & Takagi (2008) för relaterat arbete med inkrementell upptäckt av TD-nätverkens struktur (arbete som dock inte använder meta-gradienter och som endast tillämpades på relativt enkla domäner). I sin mest abstrakta form, kan förstärkning lärande algoritmer beskrivas av en uppdatering förfarande... t som ändrar, på varje steg t, agentens parametrar... t. Den centrala idén med meta-gradient RL är att parameterisera uppdateringen... t (η) genom meta-parametrar η. Vi kan sedan överväga konsekvenserna av att ändra η på den η-parameteriserade uppdateringsregeln genom att mäta den efterföljande prestandan hos agenten, i termer av en "meta-förlust" funktion m( ska t+k ). Sådan metaförlust kan utvärderas efter en uppdatering (myopic) eller k > 1 uppdateringar (non-myopic). Meta-gradienten är då, genom kedjeregeln, Implicit i ekvation 1 är att ändra meta-parametrarna η vid en tidpunkt steg påverkar inte bara den omedelbara uppdateringen till  på nästa steg, men vid alla framtida uppdateringar. Detta gör meta-gradienten utmanande att beräkna. Ett enkelt men effektivt sätt att fånga de multi-steg effekter av 3 Algoritm 1 Multi-Steg Meta-Gradient Upptäckt av frågor för hjälpinsatser Initialisera parametrar  och, η ändra η är att bygga en beräkningskurva som består av en sekvens av uppdateringar som gjorts till parametrarna  och... →  på t+k med η hålls fast, slutar med en meta-förlust utvärdering m( ska t+k ). Meta-gradienten ∂m (- t+k ) kan beräknas effektivt från denna graf genom autodifferentiering i bakåtläge; detta har en beräkningskostnad som liknar den för framåtberäkningen (Griewank & Walther, 2008), men det kräver lagring av k kopior av parametrarna - t:t+k, vilket ökar minnesavtrycket. Vi betonar att detta tillvägagångssätt står i kontrast till den myopiska metagradient som användes i tidigare arbete, som antingen ignorerar effekter tidigare än första steget, eller gör stränga approximationer. Vi tillämpar den metagradientalgoritm, som presenteras i Avsnitt 2.2, på upptäckten av GVF-baserade hjälpuppgifter representerade som i neurala nätverksarkitekturen från Avsnitt 2.1. Den fullständiga pseudokoden för den föreslagna metoden för upptäckt beskrivs i algoritm 1. På varje iteration t av algoritmen, i en inre slinga använder vi L-uppdateringar till agentparametrarna  och som parameteriserar huvuduppgiftspolicyn och GVF-svaren med hjälp av separata prover av erfarenhet i en miljö. Sedan, i den yttre slingan, tillämpar vi en enda uppdatering på meta-parametrarna η (det frågenätverk som parameteriserar kumulant- och rabattfunktioner som definierar GVF), baserat på effekten av uppdateringarna till  på meta-förlusten; sedan gör vi var och en av dessa steg explicit. Den inre uppdateringen innehåller två komponenter: den första är en kanonisk djup förstärkning lärande uppdatering med hjälp av förlust betecknade L RL för optimering av huvud-task policy π t, antingen direkt (som i policybaserade algoritmer, t.ex. Williams (1992)) eller indirekt (som i värde-baserade algoritmer, t.ex., Watkins (1989) ). Den andra komponenten är en uppdateringsregel för att uppskatta svaren på GVF-baserade frågor. Med lätt missbruk av notation, kan vi sedan beteckna varje inre-loop uppdatering som följande lutning nedstigning steg på pseudo förluster betecknade med L RL och L ans : Metaförlust m är summan av RL pseudo förluster i samband med huvuduppgiften uppdateringar, som beräknas på de satser som genereras i den inre loopen; det är en funktion av meta-parameter η genom uppdateringarna till svaren. Vi kan därför beräkna uppdateringen till meta-parametrarna Denna meta-gradient procedur optimerar arean under kurvan över den tidsmässiga spännvidd som definieras av den inre orulllängden L. Alternativt kan meta-förlusten utvärderas enbart på den sista satsen, för att optimera för den slutliga prestandan. Om vi inte anger något annat, använder vi arean under kurvan. I detta avsnitt beskriver vi en konkret omedelbarion av algoritmen i samband med en aktörs-kritisk förstärknings-inlärningsagent. Nätet till vänster i figur 1 består av tre moduler: 1) ett kodarnätverk som, tar de sista i observationer o t-i+1:t som ingångar, och ger en stat representation x t ; 2) ett huvuduppgiftsnätverk som, med tanke på tillståndet x t uppskattar både policy π och en stat värde funktion v (Sutton, 1988) 3) ett svar nätverk som, med tanke på staten x t approximerar GVF svar. I detta papper, funktioner π, v och y kommer att vara linjära funktioner av tillstånd x t. ) är en flerstegs trunkerad avkastning, med hjälp av agentens uppskattningar v av tillståndet värden för bootstrappa efter W steg. Svarsnätverksparametrarna { på y} påverkas i stället endast av den andra terminen av uppdateringen i ekvation 2. Eftersom svaren uppskattar on-policy, under π, en förväntad kumulativ diskonterad summa av kumulanter, kan vi använda en generaliserad temporal skillnad lärande algoritm för att uppdatera Y. I våra agenter, vektorn y är en linjär funktion av tillstånd, och därför varje GVF förutsägelse y i är separat parameteriseras av. Uppdateringen −α på y i L för parametrar kan sedan skrivas som, där G yi t är multi-steget, trunkerad, γ i - discounted summan av kumulanter u i från tid t och framåt. Som i de viktigaste uppdateringarna av uppgiften, belyser notationen G yi t att vi använder svarsnätverkets egna uppskattningar y i (x t ) = x T t  på bootstrap efter ett fast antal steg. Huvud-task och svar-nätverk pseudo förluster L RL, L ans som används i uppdateringarna ovan kan också enkelt användas för att direktiate ekvation 2 för parametrarna  på encoder nätverket, och för att direktiate ekvation 3, för parametrarna η i frågenätet. För den delade statliga representationen, Enc, Vi utforskar två uppdateringar: (1) med hjälp av gradienter från både huvuduppgiften och svarsnätverket, dvs., och (2) med endast gradienter från svarsnätverket, ans ( och 1 ). Med hjälp av både huvuduppgift och svar nätverk komponenter är mer överensstämmande med den befintliga litteraturen om hjälpuppgifter, men ignorera maintask uppdateringar ger ett strängare test av om algoritmen är kapabel till meta-lärande frågor som kan driva, även på egen hand, lära sig av en adekvat statliga representationer. I detta avsnitt beskriver vi den experimentella installationen, inklusive de miljöer vi använde som testbäddar och hög nivå agent och neurala nätverk arkitekturer. Vi hänvisar till bilagan för mer information. Puddleworld domän: är en kontinuerlig stat gridworld domän (Degris et al., 2012), där tillståndet utrymme är en 2-dimensionell position i [0, 1] 2. Agenten har 5 åtgärder, där fyra av dessa åtgärder flyttar agenten i en av de fyra kardinal riktningar med en genomsnittlig offset på 0,05 och den sista åtgärden har en offset på 0. Åtgärderna har en stokastisk effekt på miljön eftersom man på varje steg lägger till ett enhetligt buller i intervallet [‐0,025, 0,025] till varje åtgärdskomponent. Vi hänvisar till Degris et al. (2012) för ytterligare information om denna miljö. Samla-objekt domän: är en fyrrums gridworld, där agenten belönas för att samla två objekt i rätt ordning. Agenten rör sig deterministiskt i en av fyra huvudriktningar. För varje episod väljs startpositionen slumpmässigt. Platserna för de två objekten är desamma över avsnitt. Agenten får en belöning på 1 för att plocka upp det första objektet och en belöning på 2 för att plocka upp det andra objektet efter det första. Den maximala längden för varje avsnitt är 40. Atari domän: Atari spel var utformade för att vara utmanande och roligt för mänskliga spelare, och var förpackade i en kanonisk riktmärke för RL agenter: Arcade Learning Environment (Bellemare et al., 2013; Mnih et al., 2015 Mnih et al.,, 2016 Schulman et al., 2015 Schulman et al.,, 2017 Hessel et al., 2018). När vi sammanfattar resultat på detta riktmärke, följer vi den gemensamma metoden för första normalisering poäng på varje spel med hjälp av poäng av slumpmässiga och mänskliga agenter (van Hasselt et al., 2016). För gridworld-experimenten implementerade vi meta-gradienter ovanpå ett 5-stegs aktörskritiskt medel med 16 parallella aktörstrådar (Mnih et al., 2016). För Atari-experimenten använde vi en 20-stegs IMPALA (Espeholt et al., 2018) agent med 200 distribuerade skådespelare. Inom den icke-visuella domänen av Puddleworld är kodaren en enkel MLP med två fullt anslutna lager. På andra områden är kodaren ett konvolutionellt neuralt nätverk. Huvud-task värde och politik, och svarsnätet, 5 är alla linjära funktioner i staten x t. I gridworlds frågenätverket ger en uppsättning kumulanter, och den rabattfaktor som gemensamt definierar GVFs är handjusterad. I våra Atari experimenterar frågenätverket utdata både kumulanter och motsvarande rabatter. I alla experiment rapporterar vi poäng och kurvor medelvärde resultat från 3 oberoende körningar av varje agent, uppgift eller hyperparameter konfiguration. I Atari använder vi en enda uppsättning hyper-parametrar över alla spel. I våra experiment överväger vi följande grundläggande hjälpuppgifter från litteraturen. Belöningsförutsägelse: Denna utgångsagent har ingen fråga nätverk. Istället använder den skalär belöning som erhållits vid nästa steg som mål för svarsnätet. Den extra uppgift förlust funktion för belöning förutsägelse baslinje är, L ans = y t (x t ) − r t+1 2. Pixel kontroll: Denna baslinje har också ingen fråga nätverk. Den extra uppgiften är att lära sig att optimalt styra förändringar i pixelintensiteter. Specifikt måste svarsnätet uppskatta optimala insatsvärden för kumulanter c i motsvarande den genomsnittliga absoluta förändringen av pixelintensiteter, mellan på varandra följande (i tid) observationer, för varje cell i i ett n × n icke-överlappande rutnät som överlagrats på observationen. Den extra förlust funktion för åtgärden värden för i th cell är: 2, där G ci hänvisar till diskonterad summan av pseudo-löner för i th cell. Den extra förlusten summeras över hela rutnätet L ans = i L ans i. Denna basal agent är samma som vår meta-gradient baserad agent förutom att frågenätverket hålls fast vid sina slumpmässigt initierade parametrar genom utbildning. Svarsnätet är fortfarande utbildat för att förutsäga värden för de kumulanter som definieras av det fasta frågenätet. I detta avsnitt undersöker vi empiriskt prestandan hos den föreslagna algoritmen för upptäckt, som direkt i avsnitt 2.4. Vi kallar vår metainlärningsagent för "Discovered GVF" -agenten. Våra experiment tar upp följande frågor: 1. Kan meta-gradienter upptäcka GVF-frågor så att lära sig svaren på dem är tillräckligt, på egen hand, för att bygga representationer tillräckligt bra för att lösa komplexa RL uppgifter? Vi kallar dessa experiment för "representationsinlärning". 2. Utgångspunkten är följande: Kan meta-gradienter upptäcka GVFs frågor så att lära sig att svara på dessa längs sidan huvuduppgiften förbättrar dataeffektiviteten hos en RL-agent? I dessa experiment formas representationen av både de uppdateringar som baseras på de upptäckta GVF:erna samt de huvudsakliga uppgiftsuppdateringarna; vi kommer alltså att hänvisa till dessa som "gemensamt lärande" experiment. 3. Vad är det som händer? I båda inställningarna, hur kan hjälpuppgifter som upptäckts via meta-gradienter jämföras med handgjorda uppgifter från litteraturen? Dessutom, hur påverkas prestanda av designbeslut såsom antalet frågor, antalet inre steg som används för att beräkna meta-gradienter, och valet mellan area under kurvan kontra slutlig förlust som meta-mål? Vi noterar att experimenten med "representationslärande" är ett strängare test av vår metalärande algoritm för upptäckt, jämfört med experimenten med "gemensamt lärande". Den sistnämnda är dock förenlig med litteraturen om hjälpuppgifter och kan vara mer användbar i praktiken. I dessa experiment är parametrarna för kodarnätverket opåverkade av gradienter från uppdateringarna av huvuduppgiften. Figur 2 och 3 jämför våra metagradientagenters prestanda med de basalagenter som utbildar statsrepresentationen med hjälp av de handgjorda hjälpuppgifter som beskrivs i avsnitt 3.3. Vi inkluderar alltid en referenskurva (i svart) som motsvarar utgångsvärdet för aktörskritiska agenter utan svar eller frågenätverk, där representationen tränas direkt med hjälp av uppdateringarna av huvuduppgiften. Vi rapporterar resultat för Collect-objekt domänen, Puddleworld, och tre Atari spel (mer rapporteras i bilagan). Från experimenten lyfter vi fram följande: Upptäckt: i alla domäner fann vi bevis för att statsrepresentationen lärde sig enbart genom att lära GVF-svaren till de upptäckta frågorna var tillräckligt för att stödja inlärningen av bra poli-figur 2: Genomsnittlig avkastning på Collect-Objects (vänster) och Puddleworld (höger) för "Discovered GVFs" agenten (röd), vid sidan av "Random GVFs" (blå) och "Reward Prediction" (lila) baslinjer. Den nedslagna (svarta) linjen är slutresultatet för en skådespelare/kritiker vars representation tränas med hjälp av de viktigaste uppdateringarna av uppgiften. Figur 3: Genomsnittlig episodavkastning på 3 Atari domäner för "Discovered GVFs" agent (röd), tillsammans med "Random GVFs" (blå), "Reward Prediction" (lila) och "Pixel Control" (gröna) baslinjer. Den nedslagna (svarta) linjen är slutresultatet för en skådespelare/kritiker vars representation tränas med huvuduppgiftsuppdateringarna. Figur 4: Genomsnittlig episod avkastning på 3 Atari domäner för två "Discovered GVFs" agenter optimerar "Summed Meta-Loss" (röd) och "End Meta-Loss" (Orange), respektive. Den nedslagna (svarta) linjen är slutresultatet för en skådespelare/kritiker vars representation tränas med huvuduppgiftsuppdateringarna. - Vad är det som händer? I de två gridworld-domänerna var den resulterande politiken optimal (se figur 2); i Atari-domänerna var den resulterande politiken jämförbar med den som uppnåtts av den senaste IMPALA-agenten efter utbildning för 200M-ramar (se figur 3). Detta är ett av våra viktigaste resultat, eftersom det bekräftar att icke-myopiska meta-gradienter kan upptäcka frågor, i form av kumulanter och rabatter, användbara för att fånga tillräckligt med kunskap om världen för att stödja lärandet av statliga representationer som ger bra politik även i komplexa RL uppgifter. Utgångspunkter: Vi fann också att lära sig svaren på frågor som upptäckts med hjälp av meta-gradienter resulterade i tillståndsrepresentationer som stödde bättre prestanda, på huvuduppgiften, jämfört med de representationer som är resultatet av att lära sig svaren på populära handgjorda frågor i litteraturen. Betrakta gridworld experiment i Figur 2, lära sig representationen med hjälp av "Reward Prediction" (lila) eller "Random GVFs" (blå) resulterade i betydligt sämre politik än de som lärdes av agenten med "Discovered GVFs". På samma sätt, i Atari (visas i figur 3 ) de handgjorda extra uppgifter, nu inklusive en "Pixel Control" baslinje (grön), resulterade i nästan ingen inlärning. Huvuduppgiftsdrivna representationer: Observera att den aktör/kritiker som utbildade statsrepresentationen med hjälp av huvuduppgiftsuppdateringarna direkt lärde sig snabbare än de agenter där representationen uteslutande utbildades med hjälp av hjälpuppgifter. Grundscenariot krävde endast 3M steg på rutnätsvärldarna och 200M ramar på Atari för att nå den slutliga prestandan. Detta förväntas och det gäller både för vår metagradientlösning och för de extra uppgifterna från litteraturen. Vi använde representation inlärningsmiljön för att undersöka ett antal designval. För det första jämför vi att optimera arean under kurvan över längden på den orullade metagradientberäkningen (eller "Summed Meta-Loss") till att beräkna metagradienten enbart på det sista partiet ("End Meta-Loss"). Som visas i figur 4, kan båda tillvägagångssätten vara effektiva, men vi fann att optimera området under kurvan för att vara mer stabil. Därefter undersökte vi betydelsen av antalet GVF-frågor, och effekten av att variera antalet orullade steg i metagradientberäkningen. För detta ändamål använde vi de mindre kalkylintensiva gridvärldarna: Collect-Objects (reported here) och Puddleworld (in the Appendix). Till vänster i Figur 5, Vi rapporterar en parameter studie, rita prestanda av agenten med meta-lärda extra uppgifter som en funktion av antalet frågor d. Den streckade svarta linjen motsvarar den optimala (slutliga) prestanda. För få frågor (d = 2) gav inte tillräckligt med signal för att lära sig bra representationer: den streckade röda linjen är så långt ifrån optimal för d = 2. Andra värden av d alla ledde till att man lärde sig en god representation som kunde stödja en optimal politik. För många frågor (t.ex. d = 128) har gjort inlärningen långsammare, vilket visas av att den genomsnittliga prestationen sjunker. Antalet frågor är därför en viktig hyperparameter för algoritmen. Till höger, i figur 5 rapporterar vi effekten på prestandan av antalet k av orullade steg som används för metagradientberäkningen. Användning av k = 1 motsvarar den myopiska metagradienten: i motsats till tidigare arbete (Xu et al. (2018); Zheng et al. (2018) var representationen med k = 1 och k = 2 otillräcklig för att den slutliga politiken skulle göra något meningsfullt. Prestanda blev i allmänhet bättre då vi ökade rulllängden (även om beräkningskostnaden för meta-gradienter också ökade). Återigen var trenden inte helt monoton, med den största orulllängden k = 50 som presterade sämre än k = 25 både i fråga om slutlig och genomsnittlig prestanda. Vi antar att detta kan bero på den ökade variansen av meta-gradienten uppskattningar som unroll längd ökar. Antalet orullade steg k är därför också en känslig hyperparameter. Observera att varken d eller k var stämda i andra experiment, med alla andra resultat använder samma fasta inställningar av d = 128 och k = 10. Nästa uppsättning experiment använder den vanligaste inställningen i litteraturen på hjälpuppgifter, där representationen lärs ut med hjälp av gemensamma uppdateringar av tilläggsuppgiften och de viktigaste uppdateringarna av uppgiften. För att påskynda inlärningen av användbara frågor tillhandahöll vi den kodade statsrepresentationen som input till frågenätverket istället för att lära sig en separat kodning; detta skiljer sig från de tidigare experimenten, där frågenätverket var ett helt oberoende nätverk (i överensstämmelse med målet om en strängare utvärdering av vår algoritm). Vi använde ett riktmärke bestående av 57 olika Atari spel för att utvärdera "Discoverd GVFs" agent tillsammans med en skådespelare-kritisk baslinje ("IMPALA") och två extra uppgifter från litteraturen: "Reward Prediction" och "Pixel Control". Ingen av de extra uppgifter överträffade Impala på varje och varje 57 matcher. För att analysera resultaten rangordnade vi spel efter agentens prestanda med pixel-kontrollfrågor, för att identifiera spelen som är mer gynnsamma för att förbättra prestandan genom användning av hjälpuppgifter. 8 Figur 6 : Till vänster, relativa prestandaförbättringar av en "Discovered GVF" agent, över vanligt IMPALA. De 10 spelen är de där en "Pixel Control" baslinje visade de största vinsterna över IMPALA. Till höger, vi rita median normaliserade poäng av alla agenter för olika undergrupper av 57 Atari spel (N=5, 10, 20, 40, 57). Ordningen för att inkludera spelen bestäms återigen enligt prestandavinsterna av pixel-kontroll. Till vänster om Figur 6, Vi rapporterar de relativa vinsterna av "Discoverd GVFs" agent över IMPALA, på de 10 bästa spelen för "Pixel Control" baslinje: vi observerade stora vinster i 6 av 10 matcher, små vinster i 2, och förluster i 2. Till höger i figur 6 ger vi en mer heltäckande bild av agenternas prestanda. För varje nummer N på x-axeln (N = 5, 10, 20, 40, 57) presenterar vi den median mänskliga normaliserade poäng som uppnås genom varje metod på top-N spel, återigen valt enligt "Pixel Control" baslinje. Det är visuellt klart att upptäcka frågor via meta-learning är tillräckligt snabbt för att konkurrera med handgjorda frågor, och att det i spel som är väl lämpade för hjälpuppgifter avsevärt förbättrade prestanda över alla baslinjer. Det var särskilt imponerande att hitta att meta-gradient lösningen överträffade pixel kontroll på dessa spel trots rangordningen av spel som partisk till förmån för pixel-kontroll. Belöningen förutsägelse baslinje är intressant, i jämförelse, eftersom dess profil var närmast den av den skådespelare-kritiska baslinje, aldrig förbättra prestanda signifikant, men inte skada heller. Det finns många former av frågor som en intelligent agent kanske vill upptäcka. I detta dokument införde vi ett nytt och effektivt flerstegsförfarande för metagradienter för upptäckt av frågor i form av politiska GVF. I en sträng test, vår representation lärande experiment visade att meta-gradient tillvägagångssätt är kapabel att upptäcka användbara frågor så att besvara dem kan driva, i sig själv, lära av statliga representationer tillräckligt bra för att stödja lärandet av en huvudsaklig förstärkning inlärningsuppgift. Dessutom visade våra extrauppgifter experiment att meta-lärande baserad upptäckt metod är data-effektiv nog att konkurrera väl i termer av prestanda, och i många fall även överträffa, handgjorda frågor som utvecklats i tidigare arbete. Tidigare arbete med hjälpuppgifter byggde på mänsklig uppfinningsrikedom för att definiera frågor som är användbara för att forma den statliga representation som används i en viss uppgift, men det är svårt att skapa frågor som är både användbara och allmänna (dvs. som kan tillämpas på många uppgifter). Bellemare m.fl. (2019) införde ett geometriskt perspektiv för att förstå när hjälpuppgifter ger upphov till goda representationer. Vår lösning skiljer sig från denna typ av arbete genom att den gör det möjligt för oss att kringgå frågan om hur man utformar bra hjälpfrågor, genom att meta-lära dem, direkt optimera för nytta i samband med en viss uppgift. Vår strategi passar in i en allmän trend att i allt högre grad förlita sig på data snarare än på mänskliga induktiva förutfattade meningar för att konstruera effektiva inlärningsalgoritmer (Silver et al., 2017; Hessel et al., 2019b). En lovande riktning för framtida forskning är att undersöka icke-politiska GVF, där den policy enligt vilken vi gör prognoser skiljer sig från huvuduppgiftspolitiken. Vi noterar också att vår syn på upptäckt är ganska allmän, och skulle kunna utvidgas till meta-lärande andra typer av frågor, som inte passar den kanoniska GVF formulering; se van Hasselt et al. (2019) för en sådan klass av prediktiva frågor. Slutligen betonar vi att den orullade multi-steg meta-gradient algoritmen sannolikt kommer att gynna både tidigare tillämpningar av myopiska meta-gradienter, samt eventuellt öppna upp fler applikationer, andra från upptäckt, där den myopiska approximationen skulle misslyckas. 9 Erkännanden
Ett undantag är den senaste tidens arbete av REF, som görs samtidigt till vårt arbete, som studerar en alternativ formulering som använder meta-gradienter för att upptäcka modellering mål (som kallas frågorna).
Discovery of Useful Questions as Auxiliary Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}