I detta arbete tar vi en ny titt på några gamla och nya algoritmer för off-policy, returbaserad förstärkning lärande. Uttrycker dessa i en gemensam form, härleder vi en ny algoritm, Retrace (λ), med tre önskade egenskaper: 1) låg varians; 2) säkerhet, eftersom det säkert använder prover som samlats in från alla beteenden politik, oavsett dess grad av "off-policyness"; och 3) effektivitet, eftersom det gör den bästa användningen av prover som samlats in från nära on-policy beteendepolitik. Vi analyserar den kontraktiva karaktären hos den relaterade operatören under både policyutvärdering och kontrollinställningar och härleder online-provbaserade algoritmer. Enligt vår kunskap är detta den första returbaserade off-policy kontroll algoritm konvergera a.s. till Q * utan GLIE antagande (Greedy i gränsen med oändlig undersökning). Som en följd av detta bevisar vi konvergensen mellan Watkins Q(λ), som fortfarande var ett öppet problem. Vi illustrerar fördelarna med Retrace(λ) på en standard svit av Atari 2600 spel. En grundläggande kompromiss i förstärkning lärande ligger i definitionen av uppdateringsmålet: bör man uppskatta Monte Carlo avkastning eller bootstrap från en befintlig Q-funktion? Returbaserade metoder (där avkastning avser summan av rabatterade belöningar t γ t r t ) erbjuder vissa fördelar jämfört med värde bootstrap metoder: de är bättre beter sig när de kombineras med funktion approximation, och snabbt sprida frukterna av prospektering (Sutton, 1996). Å andra sidan, värde bootstrap metoder lättare tillämpas på off-policy data, ett vanligt användningsfall. I detta dokument visar vi att lärande av avkastning inte behöver ske i tvärgående syften med icke-politiskt lärande. Vi börjar med Harutyunians senaste arbete. (2016), som visar att naiva off-policy politiska utvärdering, utan att korrigera för "off-policyness" av en bana, fortfarande konvergerar till den önskade Q π värde funktion förutsatt beteende μ och mål π politik är inte alltför långt ifrån (den maximala tillåtna avståndet beror på λ parametern). Deras Q π (λ) algoritm lär sig från banor som genereras av μ helt enkelt genom summering diskonterade off-policy korrigerade belöningar vid varje steg. Tyvärr är antagandet att μ och π är nära restriktivt, liksom svårt att upprätthålla i kontrollfallet, där målpolicyn alltid är girig när det gäller den nuvarande Q-funktionen. I det avseendet är denna algoritm inte säker: den hanterar inte fallet med godtycklig "off-policyness". Alternativt tolererar algoritmen Tree-backup (TB) (λ) (Precup et al., 2000) godtyckliga skillnader mellan mål och beteende genom att skala upp information (här kallade spår) från framtida tidsskillnader genom produkten av sannolikheter för målpolitik. TB(λ) är inte effektivt i fallet "nära politik" (liknande μ och π), men eftersom spåren kan skäras i förtid, blockera lärande från full avkastning. I detta arbete uttrycker vi flera icke-politiska, returbaserade algoritmer i en gemensam form. Av detta kan vi härleda en förbättrad algoritm, Retrace (λ), som är både säker och effektiv, som åtnjuter konvergensgarantier för utvärdering av politiken utanför politiken och - vilket är ännu viktigare - för kontrollinställningen. Retrace(λ) kan lära från full avkastning hämtas från tidigare politiska data, som i samband med erfarenhet replay (Lin, 1993), som har återvänt till förmån med framsteg i djup förstärkning lärande (Mnih
På grundval av arbetet i REF kan flera icke-politiska avkastningsbaserade metoder baserade på sannolikhet för målinriktad politik: urval av betydelse (IS), trädbackup och Retrace (λ) uttryckas i en enhetlig operatör R enligt följande:
Safe and Efficient Off-Policy Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}