Evolution strategier (ES) är en familj av Black-box optimering algoritmer som kan träna djupa neurala nätverk grovt samt Q-lärande och policy gradient metoder på utmanande djup förstärkning inlärning (RL) problem, men är mycket snabbare (t.ex. timmar vs. dagar) eftersom de parallelliserar bättre. Många RL-problem kräver dock riktad undersökning eftersom de har belöningsfunktioner som är glesa eller vilseledande (dvs. innehåller lokala optima), och det är okänt hur man kan uppmuntra sådan undersökning med ES. Här visar vi att algoritmer som har uppfunnits för att främja riktad prospektering i småskaliga utvecklade neurala nätverk via populationer av utforskande agenter, speciellt nyhetssökning (NS) och kvalitetsmångfald (QD) algoritmer, kan hybridiseras med ES för att förbättra sin prestanda på glesa eller vilseledande djupa RL uppgifter, samtidigt som skalbarheten bibehålls. Våra experiment bekräftar att de resulterande nya algoritmerna, NS-ES och två QD-algoritmer, NSR-ES och NSRA-ES, undviker lokala optima som ES stöter på för att uppnå högre prestanda på Atari och simulerade robotar som lär sig att gå runt en falsk fälla. Detta papper introducerar därför en familj av snabba, skalbara algoritmer för förstärkning lärande som kan styra prospektering. Den lägger också till denna nya familj av prospekteringsalgoritmer till RL-verktygslådan och höjer den intressanta möjligheten att analoga algoritmer med flera samtidiga vägar för prospektering också kan kombineras väl med befintliga RL-algoritmer utanför ES.
REF kombinerar nyhetssökning och kvalitetsmångfald för att förbättra hypotesernas mångfald och kvalitet.
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}