Målet med förstärkning av inlärningsalgoritmer är att uppskatta och/eller optimera värdefunktionen. Men till skillnad från övervakad inlärning finns ingen lärare eller orakel tillgänglig för att tillhandahålla den sanna värdefunktionen. Istället uppskattar och/eller optimerar majoriteten av förstärkande inlärningsalgoritmer en proxy för värdefunktionen. Denna proxy är vanligtvis baserad på en provtagning och bootstrappad approximation till den sanna värdefunktionen, känd som en avkastning. Det särskilda valet av avkastning är en av de viktigaste komponenterna som avgör algoritmens karaktär: den takt med vilken framtida belöningar diskonteras; när och hur värden bör kängas; eller till och med arten av belöningarna själva. Det är välkänt att dessa beslut är avgörande för den övergripande framgången för RL algoritmer. Vi diskuterar en gradientbaserad meta-lärande algoritm som kan anpassa naturen av retur, online, samtidigt interagera och lära från miljön. När den tillämpas på 57 spel på Atari 2600 miljö över 200 miljoner ramar, vår algoritm uppnått en ny state-of-the-art prestanda. Det centrala målet med förstärkningslärande (RL) är att optimera agentens avkastning (kumulativ belöning), vilket vanligtvis uppnås genom en kombination av förutsägelse och kontroll. Den förutsägelse deluppgift är att uppskatta värdefunktionen - den förväntade avkastningen från varje givet tillstånd. Helst skulle detta uppnås genom att uppdatera en ungefärlig värdefunktion mot den sanna värdefunktionen. Kontrollen deluppgift är att optimera agentens policy för att välja åtgärder, för att maximera värdefunktionen. I idealfallet skulle politiken helt enkelt uppdateras i den riktning som ökar den verkliga värdefunktionen. Den verkliga värdefunktionen är dock okänd och för både förutsägelse och kontroll används i stället en provavkastning som en proxy. En stor familj av RL algoritmer [Sutton, 1988, Rummery och Niranjan, 1994, van Seijen et al., 2009, Sutton och Barto, 2018, inklusive flera toppmoderna djupa RL algoritmer [Mnih et al., 2015, van Hasselt et al., 2016, Harutyunian et al., 2016, Hessel et al., 2018, Espeholt et al., 2018, kännetecknas av olika val av avkastning. Diskonteringsfaktorn γ bestämmer avkastningens tidsskala. En rabattfaktor nära γ = 1 ger ett långsiktigt mål som ackumulerar belöningar långt in i framtiden, medan en rabattfaktor nära γ = 0 ger ett kortsiktigt mål som prioriterar kortsiktiga belöningar. Även i problem där långsynthet tydligt önskas, är det ofta observeras att rabatter γ < 1 uppnå bättre resultat [Prokhorov och Wunsch, 1997], särskilt under tidig inlärning. Det är känt att många algoritmer konvergerar snabbare med lägre rabatter [Bertsekas och Tsitsiklis, 1996], men naturligtvis för låg rabatt kan leda till mycket suboptimal politik som är alltför myopic. I praktiken kan det vara bättre att först optimera för en myopisk horisont, t.ex. med γ = 0 i början, och sedan upprepade gånger öka rabatten först efter lärande är något framgångsrik [Prokhorov och Wunsch, 1997]. Return kan också vara bootstrappad vid olika tidshorisonter. En n-steg avkastning ackumulerar belöningar över n tidssteg och lägger sedan till värdefunktionen vid n: e tidssteget. Den λ-retur [Sutton, 1988, Sutton och Barto, 2018 ] är en geometriskt viktad kombination av n-steg avkastning. I båda fallen kan meta-parametern n eller λ vara viktig för algoritmens prestanda, handla bort bias och varians. Många forskare har försökt automatisera urvalet av dessa parametrar [Kearns and Singh, 2000, Downey and Sanner, 2010, Konidaris et al., 2011. Föravtryck. Pågående arbete. Det finns potentiellt många andra designval som kan representeras i avkastningen, inklusive off-policy korrigeringar [Espeholt et al., 2018, Munos et al., 2016, målnätverk [Mnih et al., 2015], betoning på vissa stater [Sutton et al., 2016], belöning klippning [Mnih et al., 2013], eller ens arten av belöningarna själva [Randløv och Alstrøm, 1998, Singh et al., 2005, Zheng et al., 2018. I detta arbete är vi intresserade av ett av de grundläggande problemen med att stärka inlärningen: vilken skulle vara den bästa formen av avkastning för agenten att maximera? Specifikt föreslår vi att lära sig returfunktionen genom att behandla den som en parametrisk funktion med tonfiskbara meta-parametrar η, till exempel inklusive rabattfaktorn γ, eller bootstrappningsparametern λ [Sutton, 1988]. Metaparametrarna η justeras online under agentens interaktion med miljön, vilket gör det möjligt att både anpassa sig till det specifika problemet och att dynamiskt anpassa sig över tiden till lärandets föränderliga kontext. Vi härleder en praktisk gradient-baserad meta-lärande algoritm och visar att detta kan avsevärt förbättra prestanda i storskaliga djupt förstärkande lärande applikationer. I djup förstärkning lärande, värdefunktionen och politik approximeras av ett neuralt nätverk med parametrar  på, betecknar v  på (S) och π på (A pås) respektive. Kärnan i algoritmen är en uppdatering funktion, som justerar parametrar från en sekvens av erfarenhet τ t = {S t, A t, R t+1,. .} bestående av tillstånd S, åtgärder A och belöningar R. Funktionens natur bestäms av meta-parametrar η. Vår meta-gradient RL metod bygger på principen om online korsvalidering [Sutton, 1992], med hjälp av successiva prover av erfarenhet. Den underliggande RL-algoritmen tillämpas på det första provet (eller proverna), och dess prestanda mäts i ett efterföljande prov. Specifikt, algoritmen börjar med parametrar och tillämpar uppdateringsfunktionen till de första proven, vilket resulterar i nya parametrar  på; lutningen d på /dη av dessa uppdateringar anger hur meta-parametrar påverkade dessa nya parametrar. Algoritmen mäter sedan prestandan för de nya parametrarna på en efterföljande, oberoende prov τ, med hjälp av en differentiable meta-objektive J (τ,  och η ). Vid validering av prestandan på det andra provet använder vi en fast metaparameter η i J som referensvärde. På detta sätt bildar vi en differentierad funktion av meta-parametrarna, och få lutningen av η genom att ta derivatan av meta-mål J w.r.t. η och tillämpa kedjeregeln: För att beräkna lutningen av uppdateringarna, d på /dη, Vi noterar att parametrarna bildar en additiv sekvens, och lutningen kan därför ackumuleras på nätet, Gradienten ∂f (τ,  och, η) /∂ är stor och utmanande att beräkna i praktiken. I stället approximerar vi lutningen med hjälp av ett ackumulativt spår z  och dη, lutningen i ekvation (3) definieras för fasta meta-parametrar η. I praktiken kommer meta-parametrarna att anpassas på nätet. För att möjliggöra denna anpassning sönderfaller parametern μ  på [0, 1] spåren och fokuserar på de senaste uppdateringarna. Att välja μ = 0 resulterar i en girig meta-gradient som endast beaktar den omedelbara effekten av meta-parametrarna η på parametrarna. Detta kan ofta vara tillräckligt. Slutligen uppdateras metaparametrarna η för att optimera metamålet, t.ex. genom att tillämpa stokastisk lutningsnedstigning (SGD) för att uppdatera η i riktning mot metagradienten, där β är inlärningshastigheten för uppdatering av metaparametern η. I följande avsnitt direktierar vi denna idé mer specifikt till RL-algoritmer baserade på att förutsäga eller kontrollera avkastningen. Vi börjar med ett pedagogiskt exempel på att använda meta-gradienter för 2 förutsägelser med hjälp av en uppdatering av tid-skillnad. Vi överväger sedan meta-gradienter för kontroll, med hjälp av en kanonisk aktör-kritisk uppdatering funktion och en policy gradient meta-mål. Många andra momentiationer av meta-gradient RL skulle vara möjliga, eftersom majoriteten av djupt förstärka lärande uppdateringar är olika funktioner i avkastningen, bland annat, värdebaserade metoder som SARSA(λ) [Rummery och Niranjan, 1994, Sutton och Barto, 2018] och DQN [Mnih et al., 2015], policygradient metoder [Williams, 1992], eller skådespelare-kritiska algoritmer som A3C [Mnih et al., 2016] och IMPALA [Espeholt et al., 2018]. Vi definierar retur g η (τ t ) att vara en funktion av en episod eller en trunkerad n-steg sekvens av erfarenhet τ t = {S t, A t, R t+1,. ...,............................................................. Returns art bestäms av metaparametrarna η. Den n-steg avkastning [Sutton och Barto, 2018] ackumulerar belöningar över sekvensen och sedan bootstraps från värdefunktionen, där η = {γ, n}. Den λ-retur är en geometrisk blandning av n-steg avkastning, [Sutton, 1988] där η = {γ, λ}. Den λ-retur har fördelen av att vara helt olika i förhållande till meta-parametrarna. Metaparametrarna η kan ses som portar som gör att de återgår till slutet (γ = 0) eller bootstrap (λ = 0), eller att fortsätta på nästa steg (γ = 1 och λ = 1). Den n-steg eller λ-retur kan utökas med off-policy korrigeringar [Precup et al., 2000, Sutton et al., 2014, Espeholt et al., 2018 om det är nödvändigt att korrigera för den distribution som används för att generera data. En typisk RL-algoritm skulle handvälja meta-parametrarna, såsom diskonteringsfaktorn γ och bootstrappningsparametern λ, och dessa skulle hållas fast under hela utbildningen. I stället betraktar vi returg som en funktion som parameteriseras av metaparametern η, som kan differentieras för att förstå dess beroende av η. Detta i sin tur gör det möjligt för oss att beräkna lutningen av uppdateringsfunktionen med avseende på meta-parametrarna η, och därmed meta-gradienten ∂J (τ,  ska, η ) /∂η. I grund och botten ställer sig vår agent frågan, "vilken avkastning resulterar i den bästa prestationen?", och justerar sina meta-parametrar i enlighet därmed. Vi börjar med en enkel omedelbarion av idén, baserad på den kanoniska TD (λ) algoritmen för förutsägelse. Målet med TD(λ)-algoritmen (enligt framåtblicken [Sutton och Barto, 2018] ) är att minimera kvadratfelet mellan värdefunktionen calimator v  på (S) och λ-retur g η (τ ), där τ är en provbana som börjar med tillstånd S, och ∂J (τ,  och η)/ och är en semigradient [Sutton och Barto, 2018], dvs. λ-returen behandlas som konstant med avseende på  ska. Uppdateringsfunktionen för TD(λ) f (·) tillämpar SGD för att uppdatera agentens parametrar för att sänka lutningen av målet med avseende på parametrarna, där α är inlärningshastigheten för att uppdatera agent  på. Vi noterar att denna uppdatering är själv en differentiable funktion av meta-parameter η, Den viktigaste idén med meta-gradient förutsägelse algoritm är att justera meta-parameter η i den riktning som uppnår den bästa prediktiva noggrannheten. Detta mäts genom att korsvalidera de nya parametrarna  och 3 på en andra bana τ som börjar från tillstånd S, med hjälp av en genomsnittlig kvadrat fel (MSE) meta-mål och ta sin semi-gradient, Meta-mål i detta fall skulle kunna använda sig av en opartisk och långsiktig avkastning 1, till exempel med hjälp av η = {γ, λ } där γ = 1 och λ = 1. Vi ger nu ett praktiskt exempel på meta-gradienter som appliceras på kontroll. Vi fokuserar på A2C algoritmen - en skådespelare-kritisk uppdatering funktion som kombinerar både förutsägelse och kontroll till en enda uppdatering. Denna uppdatering funktion används allmänt i flera state-of-the-art agenter [Mnih et al., 2016, Jaderberg et al., 2017b, Espeholt et al., 2018. Den semi-gradienten av A2C-målet, ∂J(τ ;  till, η)/∂, definieras på följande sätt: Den första termen representerar ett kontrollmål, som uppmuntrar politiken π  på att välja ut åtgärder som maximerar avkastningen. Den andra termen representerar en förutsägelse mål, uppmuntra värdefunktionen approximator v  på ett mer korrekt sätt uppskatta avkastningen g η (τ ). Den tredje termen reglerar politiken i enlighet med dess entropi H(π) och b, c är skalarkoefficienter som väger de olika komponenterna i den objektiva funktionen. Uppdateringsfunktionen för A2C f (·) gäller SGD för att uppdatera agentens parametrar. Denna uppdatering funktion är en differentiable funktion av meta-parameter η, Nu kommer vi till valet av meta-objektiv J att använda för kontroll. Vårt mål är att identifiera den returfunktion som maximerar den totala prestandan hos våra agenter. Detta kan mätas direkt genom ett meta-mål som uteslutande fokuserar på att optimera avkastningen - med andra ord en policy gradient mål, Denna ekvation utvärderar hur bra den uppdaterade policyn är i termer av avkastning som beräknas under η, när den mäts på "held-out" erfarenheter τ, t.ex. den efterföljande n-stegbanan. Vid korsvaliderande prestanda med hjälp av detta meta-mål använder vi fasta meta-parametrar η, helst representerar en bra proxy till det verkliga målet för agenten. I praktiken innebär detta vanligtvis att välja rimliga värden av η; agenten är fri att anpassa sina meta-parametrar η och välja värden som presterar bättre i praktiken. Nu sätter vi ihop algoritmen för metagradientstyrning. För det första uppdateras parametrarna  på ett prov av erfarenhet τ med hjälp av A2C uppdateringsfunktionen (ekvation (12)), och lutningen av uppdateringen (ekvation (13) ackumuleras i spår z. För det andra korsvalideras prestandan på ett efterföljande prov av erfarenhet τ med hjälp av metamålet för policygradienten (ekvation (14). Slutligen uppdateras meta-parametrarna η i enlighet med meta-målets lutning (ekvation (5)). En komplikation av det tillvägagångssätt som beskrivs ovan är att returfunktionen g η (τ ) är icke-stationär, anpassning tillsammans med meta-parametrarna under hela utbildningsprocessen. Som ett resultat, det finns en risk att värdefunktionen v  ska blir felaktig, eftersom det kan vara approximering gamla avkastning. Till exempel kan värdefunktionen inledningsvis utgöra en god approximation av en kortsynt avkastning med γ = 0, men om γ därefter anpassar sig till γ = 1 kan värdefunktionen plötsligt finna att dess approximation är ganska dålig. Samma princip gäller för politiken π, som återigen kan ha specialiserat sig på gamla återvändanden. 1 Meta-målet kan även använda en rabattfaktor som är mer långsiktig än det ursprungliga problemet, kanske spänner över många episoder. (a) Belöningar växlar mellan +0.1 eller slumpmässigt provtagning från en noll-medel Gaussian.. I var och en av de subplot som visas i botten, den första visar hur meta-parametern γ eller λ anpassar sig under utbildningen (i genomsnitt över 10 frön-skuggade regioner täcker 20%-80% percentiler). Den andra tomten visar det slutliga värdet av γ eller λ i varje tillstånd och identifierar lämpligt höga/låga värden för udda/jämn tillstånd (violinplotter visar fördelning över frön). För att hantera icke-stationaritet i värdefunktionen och policyn använder vi en idé som liknar universell värdefunktions approximation (UVFA) [Schaul et al., 2015]. Den viktigaste idén är att tillhandahålla metaparametrarna η som en ytterligare input för att konditionera värdefunktionen och policyn, enligt följande: där e η är inbäddning av η, [s; e η ] betecknar konkatering av vektorer s och e η, W η är inbäddningsmatrisen (eller radvektorn, för skalar η) som uppdateras genom backpropagation under träning. På så sätt lär sig agenten uttryckligen värdefunktioner och policyer som är lämpliga för olika η. Tillnärmningsproblemet blir lite svårare, men lönen är att algoritmen fritt kan skifta meta-parametrarna utan att behöva vänta på att approximeraren ska "komma ifatt". För att skala upp metagradienten tillvägagångssätt, flera ytterligare steg vidtogs. För effektivitet har A2C-målet och metamålet ackumulerats över alla tidssteg inom en n-stegs erfarenhetsbana. A2C-målet optimerades av RMSProp [Tieleman och Hinton, 2012] utan momentum [Mnih et al., 2015, Espeholt et al., 2018. Detta är en skillnad i metaparametrarnas funktion och kan därför ersättas på samma sätt som SGD (se Ekvation (13). Denna process kan förenklas genom automatisk differentiering (bilaga B.2). Liksom i IMPA användes en icke-politisk korrigering som baserades på en V-trace retur (se bilaga B.1). För ett effektivt genomförande beräknades banorna parallellt med varandra; banorna återanvändes två gånger för både uppdateringsfunktionen och för korsvalidering (se bilaga B.3). För att illustrera huvudidén i vårt meta-gradient tillvägagångssätt ger vi två exempel som visar hur diskonteringsfaktorn γ respektive tidsskillnaden parameter λ kan meta-läras. Vi fokuserar på metagradientförutsägelse med hjälp av TD(λ) algoritm och ett MSE meta-mål med γ = 1 och λ = 1, som beskrivs i avsnitt 1.2. För dessa belysande exempel, anser vi att tillståndsberoende meta-parametrar som kan anta ett annat värde i varje tillstånd. Det första exemplet är en 10-stegs Markov belöningsprocess (MRP), som växlar mellan "signal" och "buller" övergångar. Övergångar från udda-numrerade "signal" stater får en liten positiv belöning, R = +0.1. Övergångar från jämnt numrerade "buller" stater får en slumpmässig belöning, R  på N (0, 1). För att säkerställa att signalen kan överväldiga buller, är det fördelaktigt att avsluta återkomsten (låg γ) i "buller" tillstånd, men att fortsätta avkastningen (hög γ) i "signaltillstånd". Det andra exemplet är en 9-stegs MRP, som växlar mellan "fan-out" och "fan-in" övergångar. Vid udda-numrerade "fan-out" tidssteg, staten övergångar till en slumpmässigt utvalda efterträdare, som alla är alias. Vid jämna "fan-in" tidssteg övergår staten deterministiskt tillbaka till en flaskhalsstat. Övergången till en "fan-out" stat ger en deterministisk belöning som är unik för den staten. Övergången bort från detta tillstånd ger negationen av samma belöning. Varje par av "fan-in" och "fan-out" tidssteg är noll-medel i förväntad belöning. De fullt observerade flaskhals tillstånd besöks ofta och tenderar att ha mer exakta värdefunktioner. För att förutsäga exakt, är det därför fördelaktigt att bootstrap (låg λ) i flaskhals stater som värdefunktionen är välkänd, men för att undvika bootstrappa (hög λ) i noisier, delvis observerade, faned-out stater. Figur 1 visar resultaten av metagradientförutsägelse med hjälp av TD(λ)-algoritmen. Metagradientalgoritmen kunde anpassa både λ och γ till att bilda avkastningar som växlar mellan höga eller låga värden i udda respektive till och med tillstånd. I detta avsnitt visar vi fördelarna med den föreslagna metagradienta inlärningsmetoden med hjälp av en toppmodern aktörskritisk ram IMPALA [Espeholt et al., 2018]. Vi fokuserade på att anpassa rabattfaktorn η = {γ} (som vi fann vara den mest effektiva meta-parametern i preliminära experiment), och bootstrappa parametern λ. För dessa experiment var metaparametrarna tillståndsoberoende och anpassade ett skalarvärde för γ respektive λ (statsberoende metaparametrar gav ingen signifikant nytta vid preliminära experiment).  Vi validerar det föreslagna tillvägagångssättet för Atari 2600 videospel från Arcade Learning Environment (ALE) [Bellemare et al., 2013], ett standardriktmärke för djupt förstärkande inlärningsalgoritmer. Vi bygger vår agent med IMPALA ramverket [Espeholt et al., 2018], ett effektivt distribuerat genomförande av skådespelare-kritisk arkitektur Barto, 2018, Mnih et al., 2016]. Vi använder den djupa ResNet arkitektur [He et al., 2016] som anges i Espeholt et al. [2018] som har visat stora fördelar jämfört med den grunda arkitekturen [Mnih et al., 2015]. Efter Espeholt m.fl. utbildar vi vår agent för 200 miljoner bilder. Vår algoritm kräver inga extra data jämfört med basalgoritmerna, eftersom varje upplevelse kan användas både för att träna själva agenten och för att träna metaparametrarna η (dvs. varje upplevelse kan fungera som valideringsdata för andra erfarenheter). Vi beskriver det detaljerade genomförandet i bilaga B.3. För fullständig information om Impala-genomförandet och den specifika icke-politiska korrigeringen g η (τ ), se Espeholt et al. Kommissionens genomförandeförordning (EU) nr 668/2014 av den 13 juni 2014 om tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1151/2012 om kvalitetsordningar för jordbruksprodukter och livsmedel (EUT L 179, 19.6.2014, s. 1). Agenterna utvärderas på 57 olika Atari spel och medianen för humannormaliserade poäng [Nair et al., 2015, van Hasselt et al., 2016, Wang et al., 2016b, Mnih et al., 2016 rapporteras. Det finns två olika utvärderingsprotokoll. Det första protokollet är "mänskliga starter" [Nair et al., 2015, Wang et al., 2016b, van Hasselt et al., 2016, som initierar episoder till ett tillstånd som slumpmässigt provtas från mänskligt spel. Det andra protokollet är "no-ops startar", som initierar varje episod med en slumpmässig sekvens av no-op åtgärder; detta protokoll används också under utbildning. Vi håller alla hyper-parametrar (t.ex., satsstorlek, orulllängd, inlärningshastighet, entropi kostnad) samma som anges i Espeholt et al. [2018] för en rättvis jämförelse. För fristående ändamål tillhandahåller vi alla viktiga hyperparametrar som används i detta papper, inklusive de som följer Espeholt et al. [2018] och ytterligare meta-lärande optimering hyper-parametrar (dvs. meta batch storlek, meta inlärningshastighet α, inbäddning storlek för η), i bilaga A. Meta-lärande hyper-parametrar väljs enligt prestanda av sex Atari spel som allmän praxis i Deep RL Atari experiment [van Hasselt et al., 2016, Mnih et al., 2016, Wang et al., 2016b. Ytterligare genomförandeuppgifter finns i tillägg B. 2 I praktiken parameteriserar vi η = σ(x), där σ är den logistiska funktionen σ(x) = 1 1+e −x; d.v.s. Metaparametrarna är faktiskt logitsen för γ och λ. Tabell 1: Resultat av metainlärning diskonteringsparametern γ, inlärningsparametern tidsskillnad λ, eller både γ och λ, jämfört med baslinje-IMPALA-algoritmen som varken metalär sig eller. Resultaten anges både för diskonteringsfaktorn γ = 0,99 som ursprungligen rapporterades i [Espeholt et al., 2018] och även för en justerad diskonteringsfaktor γ = 0,995 (se bilaga C); den korsgiltiga diskonteringsfaktorn γ i metamålet sattes till samma värde för en rättvis jämförelse. Vi jämförde fyra varianter av IMPALA-algoritmen: den ursprungliga basalalgoritmen utan metagradienter, d.v.s. η = {}; användning av metagradienter med η = {λ}; användning av metagradienter med η = {γ}; och användning av metagradienter med η = {γ, λ}. Den ursprungliga IMPA-algoritmen använde en diskonteringsfaktor på γ = 0,99, men när vi manuellt justerade diskonteringsfaktorn och fann att en diskonteringsfaktor på γ = 0,995 presterade betydligt bättre (se bilaga C). För en rättvis jämförelse testade vi vår metagradientalgoritm i båda fallen. När rabattfaktorn inte är anpassad, η = {} eller η = {λ} använde vi ett fast värde på γ = 0,99 eller γ = 0,995. När rabattfaktorn är anpassad, η = {γ} eller η = {γ, λ}, korsvaliderar vi med en metaparameter på γ = 0,99 eller γ = 0,995 i enlighet därmed i metamål J (ekvation (14). Manuell inställning av parametern λ hade ingen betydande inverkan på prestandan och vi jämförde därför endast med det ursprungliga värdet på λ = 1. Vi sammanfattar medianvärdet för humannormaliserade poäng i tabell 1. Individuella förbättringar för varje spel, jämfört med IMPA-baslinje, anges i bilaga D.1 och enskilda diagram som visar anpassning av γ och λ finns i bilaga D.2. Metagradient-RL-algoritmen ökade medianprestandan, jämfört med basalgoritmen, med en marginal mellan 30% och 80% över "mänskliga starter" och "no-op starter", och med både γ = 0,99 och γ = 0,995. Vi verifierade också arkitekturval av konditionering av värdefunktionen v och policy π på metaparametrarna η. Vi jämförde den föreslagna algoritmen med en identisk metagradientalgoritm som anpassar rabattfaktorn η = {γ}, men ger inte en inbäddning av rabattfaktorn som en ingång till π och v. För detta experiment använde vi en korsvalideringsrabattfaktor på γ = 0,995. Den humannormaliserade medianpoängen var endast 183%, långt under IMPALAs baslinje med γ = 0,995 (211,9%) och mycket värre än den fullständiga metagradientalgoritm som inkluderar rabattfaktorn inbäddad (267,9%). Slutligen jämför vi mot den state-of-the-art agent utbildad på Atari spel, nämligen Rainbow [Hessel et al., 2018], som kombinerar DQN [Mnih et al., 2015] med dubbel Q-learning [van Hasselt et al., 2016, van Hasselt, 2010, prioriterade replay [Schaul et al., 2016], dueling nätverk [Wang et al., 2016b], flerstegsmål [Sutton, 1988, Sutton och Barto, 2018], distributional RL [Bellemare et al., 2017] och parameter buller för prospektering [Fortunato et al., 2018]. Rainbow får medianvärdet för det humannormaliserade värdet på 153% på det mänskliga startprotokollet och 223% på no-ops-protokollet. Metagradienten uppnådde däremot en medianpoäng på 292,9% för humana starter och 287,6% för icke-ops, med samma antal (200M) ramar. Vi noterar dock att det finns många skillnader mellan de två algoritmerna, inklusive den djupare neurala nätverksarkitektur som används i vårt arbete. Bland de tidigaste studierna om metainlärning (eller inlärning [Thrun och Pratt, 1998] var att meta-lära en optimerare med hjälp av en återkommande parameterisering [Andrychowicz et al., 2016, Wichrowska et al., 2017. Duan m.fl. [2016] och Wang et al. [2016a] föreslog att man skulle lära sig en återkommande metapolitik som i sig lär sig att lösa det förstärkande inlärningsproblemet, så att den återkommande politiken kan generaliseras till nya uppgifter snabbare än att lära sig politiken från grunden. Modell-Agnostic Meta-Learning (MAML) [Finn et al., 2017a, Finn and Levine, 2018, Finn et al., 2017b, Grant et al., 2018, Al-Shedivat et al., 2018] lär sig en bra initiering av modellen som snabbt kan anpassa sig till andra uppgifter inom några gradientuppdateringssteg. Dessa arbeten fokuserar på en multi-task-miljö där meta-learning sker på en fördelning av utbildningsuppgifter, för att underlätta snabb anpassning på en osynlig testuppgift. I vårt arbete betonas däremot (förmodligen) det mer grundläggande problemet med meta-lärande inom en enda uppgift. Med andra ord återgår vi till standardformuleringen av RL som maximerar belöningar under en enda livstid av interaktioner med en miljö. Samtidigt med vårt eget arbete, Zheng et al. [2018] föreslår också en liknande algoritm för att lära sig meta-parametrar av avkastningen: i deras fall en extra belöningsfunktion som läggs till de externa belöningarna. De konditionerar inte sin värdefunktion eller policy, och återanvända samma prover för både uppdateringsfunktionen och korsvalideringssteget - vilket kan vara problematiskt i stokastiska domäner när buller dessa uppdateringar blir mycket korrelerade. Det finns många verk som fokuserar på att anpassa inlärningshastigheten genom gradientbaserade metoder [Sutton, 1992, Schraudolph, 1999, Maclaurin et al., 2015, Pedregosa, 2016, Franceschi et al., 2017, Bayesian optimeringsmetoder [Snoek et al., 2012], eller evolutionsbaserad hyperparameterinställning [Jaderberg et al., 2017a, Elfwing et al., 2017. I synnerhet, Sutton [1992], introducerade idén om korsvalidering online, men denna metod begränsades till att anpassa inlärningshastigheten för linjära uppdateringar i övervakad inlärning (senare utsträckt till icke-linjära uppdateringar av Schraudolph [1999], medan vi fokuserar på det grundläggande problemet med förstärkt inlärning, dvs. att anpassa returfunktionen för att maximera den proxyavkastning vi kan uppnå från miljön. Det har också förekommit betydande tidigare arbete med att automatiskt anpassa bootstrappningsparametern λ. TD(γ), som väger n-steget avkastning enligt rabattfaktorn, vilket leder till en parameter-fri algoritm för tidsskillnad lärande med linjär funktion approximation. White and White [2016] introducerar en algoritm som uttryckligen uppskattar fördomar och varians, och girigt anpassar λ för att lokalt minimera MSE i λ-retur. Till skillnad från vår meta-gradient tillvägagångssätt, dessa tidigare metoder utnyttja i.i.d. antaganden om erfarenhetsbanan som inte är realistiska i många tillämpningar. I detta arbete diskuterade vi hur man lär sig meta-parametrarna för en returfunktion. Vår meta-learning algoritm körs online, samtidigt interagerar med en enda miljö, och anpassar framgångsrikt avkastningen för att producera bättre prestanda. Vi visade, genom att justera meta-parametrarna för en toppmodern djupinlärningsalgoritm, att vi kunde uppnå mycket högre prestanda än tidigare observerats på 57 Atari 2600 spel från Arcade Learning Environment. Vår föreslagna metod är mer allmän, och kan tillämpas inte bara på rabattfaktorn eller bootstrapp parameter, men också på andra komponenter i avkastningen, och ännu mer allmänt till lärande uppdateringen själv. Hyper-parameter tuning har varit en tagg i sidan av förstärkning lärande forskning i flera decennier. Vår förhoppning är att detta tillvägagångssätt kommer att tillåta agenter att automatiskt justera sina egna hyper-parametrar, genom att exponera dem som meta-parametrar av inlärningsuppdateringen. Detta kan också leda till bättre prestanda eftersom parametrarna kan förändras över tid och anpassas till nya miljöer.
Som ett resultat av detta kan dess prestanda vara känslig för valet av referens (γ, λ) samt andra hyperparametrar som meta-lärandegraden, vilket de experimentella resultaten av REF visar.
Meta-Gradient Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}