Djup förstärkning Lärande har gett skickliga controllers för komplexa uppgifter. Dessa regulatorer har dock begränsat minne och förlitar sig på att kunna uppfatta hela spelskärmen vid varje beslutspunkt. För att åtgärda dessa brister undersöker den här artikeln effekterna av att lägga till rekursion till ett djup Q-Network (DQN) genom att ersätta det första helt sammankopplade skiktet efter en konvolution med ett återkommande LSTM. Den resulterande Deep Recurrent Q-Network (DRQN), även om den endast kan se en enda ram i varje steg, framgångsrikt integrerar information genom tiden och replikerar DQN prestanda på standard Atari spel och delvis observerade motsvarigheter med flimrande spelskärmar. Dessutom, när DRQN tränas med partiella observationer och utvärderas med stegvis mer fullständiga observationer, fungerar DRQN:s prestandaskalor som en funktion av observerbarhet. När DRQN utbildas med fullständiga observationer och utvärderas med partiella observationer, försämras däremot DRQN:s prestanda mindre än DQN:s. Således, med tanke på samma längd av historia, recurrency är ett livskraftigt alternativ till stapla en historia av ramar i DQN: s ingångslager och medan recurrency ger ingen systematisk fördel när man lär sig att spela spelet, det återkommande nätet kan bättre anpassa sig vid utvärderingstid om kvaliteten på observationer ändras.
Ett annat arbete REF utförs av Deep Recurrent Q-learning Networks (DQN).
Deep Recurrent Q-Learning for Partially Observable MDPs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}