I detta dokument introduceras nya optimalitetsbevarande operatörer på Q-funktioner. Vi beskriver först en operatör för tabular representationer, den konsekventa Bellman operatör, som innehåller ett begrepp om lokal policy konsekvens. Vi visar att denna lokala konsekvens leder till en ökning av åtgärdsklyftan i varje stat; att öka denna klyfta, menar vi, lindrar de oönskade effekterna av approximations- och skattningsfel på den giriga politik som framkallas. Denna operatör kan också appliceras på diskretiserade kontinuerliga rymd- och tidsproblem, och vi ger empiriska resultat som visar överlägsen prestanda i detta sammanhang. Utöka idén om en lokalt konsekvent operatör, vi får sedan tillräckliga villkor för en operatör för att bevara optimalitet, vilket leder till en familj av operatörer som inkluderar vår konsekventa Bellman operatör. Som corollaries ger vi ett bevis på optimalitet för Bairds fördel lärande algoritm och härleda andra gap-ökande operatörer med intressanta egenskaper. Vi avslutar med en empirisk studie av 60 Atari 2600 spel som illustrerar de nya operatörernas starka potential. Värdebaserat förstärkande lärande är en attraktiv lösning på planeringsproblem i miljöer med okänd, ostrukturerad dynamik. I sin kanoniska form ger värdebaserat förstärkande lärande successiva förbättringar av en initial värdefunktion genom upprepad tillämpning av en konvergent operatör. I synnerhet, värde iteration (Bellman 1957) direkt beräknar värdefunktionen genom den itererade utvärderingen av Bellmans ekvation, antingen exakt eller från prover (t.ex. Q-lärande, Watkins 1989). I sin enklaste form, värde iteration börjar med en initial värdefunktion V 0 och successivt beräknar V k+1 := T V k, där T är Bellman operatör. När miljödynamiken är okänd, V k vanligtvis ersätts av Q k, status-action värde funktion, och T approximeras av en empirisk Bellman operatör. Den fasta punkten för Bellman operatör, Q *, är den optimala status-action värde funktion eller optimal Q-funktion, från vilken en optimal policy π * kan återvinnas. I detta dokument hävdar vi att den optimala Q-funktionen är inkonsekvent, i den meningen att för varje åtgärd en som är subop- * Nu vid Carnegie Mellon University. Copyright c 2016, Association for the Advancement of Artificial Intelligence (www.aaai.org). Alla rättigheter förbehållna. Timal i tillstånd x, Bellmans ekvation för Q * (x, a) beskriver värdet av en icke-stationär politik: när du återvänder till x, väljer denna policy π * (x) snarare än a. Samtidigt som det verkar opraktiskt att bevara global konsekvens föreslår vi en enkel ändring för Bellman-operatören som ger oss en första ordningens lösning på inkonsekvensproblemet. Därför kallar vi vår nya operatör den konsekventa Bellman-operatören. Vi visar att den konsekventa Bellman-operatören i allmänhet devalverar suboptimala åtgärder men bevarar den optimala policyn. Som ett resultat av detta ökar åtgärdsklyftan – värdeskillnaden mellan optimala och näst bästa åtgärder. Att öka åtgärdsgapet är fördelaktigt i närvaro av approximation eller skattningsfel (I den andra halvan av detta papper härleder vi nya tillräckliga villkor för en operatör för att bevara optimalitet. Den relativa svagheten i dessa nya villkor visar att det är möjligt att avvika avsevärt från Bellman operatören utan att offra optimalitet: en optimal-bevarande operatör behöver inte vara kontraktiv, inte ens garantera konvergens av Q-värden för suboptimala åtgärder. Medan många alternativ till Bellman operatör har lagts fram (t.ex. nyligen Azar et al. 2011; Bertsekas och Yu 2012), Vi anser att vårt arbete att vara den första att föreslå en sådan stor avvikelse från den kanoniska fast punkt villkor som krävs från en optimal-bevarande operatör. Som bevis på rikedomen i denna nya operatörsfamilj beskriver vi några praktiska momentiationer med unika egenskaper. Vi använder våra operatörer för att få toppmodern empirisk
Mer nyligen visade det sig att fördelen lärande algoritm är en gap-ökande operatör REF.
Increasing the Action Gap: New Operators for Reinforcement Learning
{'venue': 'Bellemare, Marc G., Ostrovski, G., Guez, A., Thomas, Philip S., and Munos, Remi. Increasing the Action Gap: New Operators for Reinforcement Learning. Proceedings of the AAAI Conference on Artificial Intelligence, 2016', 'journal': None, 'mag_field_of_study': ['Computer Science']}