Att lära sig målinriktat beteende i miljöer med gles feedback är en stor utmaning för att förstärka inlärningsalgoritmer. Den primära svårigheten uppstår på grund av otillräcklig undersökning, vilket resulterar i att en agent inte kan lära sig robusta värdefunktioner. Intrinsiskt motiverade agenter kan utforska nytt beteende för sin egen skull snarare än att direkt lösa problem. Sådana inneboende beteenden kan så småningom hjälpa agenten att lösa de uppgifter som miljön utgör. Vi presenterar hierarkisk-DQN (h-DQN), ett ramverk för att integrera hierarkiska värdefunktioner, som fungerar på olika temporalskalor, med egenmotiverat djupt förstärkande lärande. En högvärdig funktion lär sig en politik över inneboende mål, och en lägre nivå funktion lär sig en politik över atomiska åtgärder för att uppfylla de givna målen. h-DQN möjliggör flexibla målspecifikationer, t.ex. funktioner över enheter och relationer. Detta ger ett effektivt utrymme för prospektering i komplicerade miljöer. Vi visar styrkan i vår strategi på två problem med mycket gles, fördröjd feedback: (1) en komplex diskret stokastisk beslutsprocess, och (2) den klassiska ATARI-spelet 'Montezuma's Revenge'.
Vårt arbete motiveras också av hierarkisk-DQN REF som integrerar hierarkiska värdefunktioner för att fungera på olika tidsskalor.
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}