Den populära Q-lärande algoritmen är känd för att överskatta actionvärden under vissa förhållanden. Det var inte tidigare känt om sådana överskattningar i praktiken är vanliga, om de skadar prestationsförmågan och om de i allmänhet kan förhindras. I detta dokument besvarar vi alla dessa frågor på ett positivt sätt. I synnerhet visar vi först att den senaste DQN algoritmen, som kombinerar Q-learning med ett djupt neuralt nätverk, lider av betydande överskattningar i vissa spel i Atari 2600 domänen. Vi visar sedan att idén bakom Double Q-lärande algoritm, som introducerades i en tabell, kan generaliseras för att arbeta med storskalig funktion approximation. Vi föreslår en specifik anpassning till DQN-algoritmen och visar att den resulterande algoritmen inte bara minskar de observerade överskattningarna, som hypotes, utan att detta också leder till mycket bättre prestanda på flera spel. Målet med att stärka lärandet (Sutton och Barto, 1998) är att lära sig en bra politik för sekventiella beslutsproblem genom att optimera en kumulativ framtida belöningssignal. Q-learning (Watkins, 1989 ) är en av de mest populära förstärkande inlärningsalgoritmer, men det är känt att ibland lära orealistiskt höga actionvärden eftersom det innehåller en maximering steg över uppskattade actionvärden, som tenderar att föredra överskattad till underskattade värden. I tidigare arbeten har överskattningar tillskrivits otillräckligt flexibel funktionstillnärmning (Thrun och Schwartz, 1993) och buller (van Hasselt, 2010 (van Hasselt, 2011. I detta dokument förenar vi dessa åsikter och visar överskattningar kan förekomma när åtgärdsvärdena är felaktiga, oavsett källan till approximationsfel. Oprecisa uppskattningar av värdet är naturligtvis normen under inlärningen, vilket tyder på att överskattningar kan vara mycket vanligare än vad som tidigare uppskattats. Det är en öppen fråga om det, om överskattningarna inträffar, påverkar prestationen negativt i praktiken. Överoptimistiska värdeberäkningar är inte nödvändigtvis ett problem i sig själva. Om alla värden skulle vara enhetligt högre så bibehålls de relativa handlingspreferenserna och vi skulle inte förvänta oss att den resulterande politiken skulle bli sämre. Dessutom är det känt att det ibland är bra att vara optimistisk: optimism inför osäkerhet är en välkänd prospekteringsteknik (Kaelbling m.fl., 1996). Men om överskattningarna inte är enhetliga och inte koncentrerade till stater som vi vill lära oss mer om, då kan de påverka kvaliteten på den politik som blir följden negativt. Thrun och Schwartz (1993) ger konkreta exempel där detta leder till en suboptimal politik, även asymptotiskt. För att testa om överskattningar förekommer i praktiken och i skala undersöker vi prestanda för den senaste DQN algoritmen. DQN kombinerar Q-learning med ett flexibelt djupt neuralt nätverk och testades på en varierad och stor uppsättning av deterministiska Atari 2600 spel, nå mänsklig nivå prestanda på många spel. På vissa sätt, denna inställning är ett bäst-fall scenario för Q-lärande, eftersom det djupa neurala nätverket ger flexibel funktion approximation med potential för en låg asymptotic approximation fel, och determinism i miljöer förhindrar skadliga effekter av buller. Kanske överraskande visar vi att även i denna jämförelsevis gynnsamma miljö DQN ibland avsevärt överskattar värdet av åtgärderna. Vi visar att idén bakom Double Q-learning algoritmen (van Hasselt, 2010), som först föreslogs i en tabell, kan generaliseras för att arbeta med godtycklig funktion approximation, inklusive djupa neurala nätverk. Vi använder detta för att konstruera en ny algoritm som vi kallar Double DQN. Vi visar sedan att denna algoritm inte bara ger mer exakta värdeuppskattningar, men leder till mycket högre poäng på flera spel. Detta visar att överskattningarna av DQN verkligen ledde till en sämre politik och att det är fördelaktigt att minska dem. Genom att förbättra DQN får vi dessutom toppmoderna resultat på Atari-domänen.
Double DQN algoritm REF introducerar användningen av DE i DQN, och visar bättre uppskattning av action-värden och överlägsen prestanda w.r.t.
Deep Reinforcement Learning with Double Q-learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}