Räkna-baserade prospekteringsalgoritmer är kända för att utföra nästan optimalt när de används i kombination med tabular förstärkning lärande (RL) metoder för att lösa små diskreta Markov beslutsprocesser (MDP). Man tror i allmänhet att räknebaserade metoder inte kan tillämpas i högdimensionella tillståndsutrymmen, eftersom de flesta tillstånd endast kommer att inträffa en gång. Nyligen genomförda djupa RL-prospekteringsstrategier kan hantera högdimensionella kontinuerliga tillståndsutrymmen genom komplexa heuristiker, ofta beroende på optimism inför osäkerhet eller inneboende motivation. I detta arbete beskriver vi ett överraskande fynd: en enkel generalisering av det klassiska grevbaserade tillvägagångssättet kan nå nära toppmoderna prestanda på olika högdimensionella och/eller kontinuerliga djupa RL-riktmärken. Staterna är kartlagda till hashkoder, som gör det möjligt att räkna deras förekomster med en hash tabell. Dessa räknas sedan används för att beräkna en belöning bonus enligt den klassiska räkna-baserade prospekteringsteorin. Vi tycker att enkla hashfunktioner kan ge förvånansvärt bra resultat på många utmanande uppgifter. Dessutom visar vi att en domänberoende inlärd hashkod ytterligare kan förbättra dessa resultat. Detaljerad analys visar viktiga aspekter av en bra hashfunktion: 1) att ha lämplig granularitet och 2) att koda information som är relevant för att lösa MDP. Denna prospektering strategi uppnår nära state-of-the-art prestanda på både kontinuerliga kontrolluppgifter och Atari 2600 spel, vilket ger en enkel men kraftfull baslinje för att lösa MDP som kräver betydande prospektering. Förstärkning lärande (RL) studerar en agent som agerar i en till en början okänd miljö, lärande genom försök och fel för att maximera belöningar. Det är omöjligt för agenten att agera nästan optimalt tills den tillräckligt har utforskat miljön och identifierat alla möjligheter till hög belöning, i alla scenarier. En central utmaning i RL är hur man balanserar prospektering aktivt söker nya stater och åtgärder som kan ge höga belöningar och leda till långsiktiga vinster; och exploatering-maximera kortsiktiga belöningar med hjälp av agentens nuvarande kunskap. Även om det finns prospekteringstekniker för finita MDP:er som åtnjuter teoretiska garantier, finns det inga helt tillfredsställande tekniker för högdimensionella tillståndsutrymmen; därför är utveckling av mer allmänna och robusta prospekteringstekniker ett aktivt forskningsområde. De flesta av de senaste state-of-the-art RL resultat har erhållits med hjälp av enkla prospekteringsstrategier såsom enhetlig provtagning (Mnih et al., 2015) och i.i.d. / korrelerade Gaussian buller (Schulman et al., 2015; Lillicrap et al., 2015). Även om dessa heuristiker är tillräckliga i uppgifter med välformade belöningar, kan prov komplexiteten växa exponentiellt (med tillståndsstorlek) i uppgifter med glesa belöningar (Osband et al., 2016b). Nyligen utvecklade prospekteringsstrategier för djup RL har lett till betydligt bättre prestanda på miljöer med glesa belöningar. Bootstrappad DQN * Dessa författare bidrog lika.
REF föreslog en beräkningsbaserad prospekteringsstrategi genom att haffa ofta motstående stater och lägga till en motsvarande prospekteringsbonus till belöningsfunktionen.
Exploration: A Study of Count-Based Exploration for Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}