Djupt förstärkande inlärning (RL) har uppnått flera hög profil framgångar i svåra beslutsproblem. Dessa algoritmer kräver dock vanligtvis en enorm mängd data innan de når en rimlig prestanda. Deras prestationer under inlärningen kan i själva verket vara mycket dåliga. Detta kan vara acceptabelt för en simulator, men det begränsar allvarligt tillämpligheten av djup RL till många verkliga uppgifter, där agenten måste lära sig i den verkliga miljön. I detta dokument studerar vi en miljö där agenten kan få tillgång till data från tidigare kontroll av systemet. Vi presenterar en algoritm, Deep Q-learning from Demonstrations (DQfD), som utnyttjar denna data för att massivt påskynda inlärningsprocessen även från relativt små mängder demonstrationsdata och kan automatiskt bedöma det nödvändiga förhållandet av demonstrationsdata samtidigt lärande tack vare en prioriterad replay mekanism. DQfD fungerar genom att kombinera tidsskillnadsuppdateringar med övervakad klassificering av demonstrators handlingar. Vi visar att DQfD har bättre initial prestanda än Prioriterad Dueling Double Deep Q-Networks (PDD DQN) eftersom det börjar med bättre resultat på de första miljoner stegen på 41 av 42 spel och i genomsnitt tar det PDD DQN 82 miljoner steg för att komma ikapp DQfD: s prestanda. DQfD lär sig att överträffa den bästa demonstrationen som ges i 14 av 42 spel. Dessutom utnyttjar DQfD mänskliga demonstrationer för att uppnå toppmoderna resultat för 17 matcher. Slutligen visar vi att DQfD presterar bättre än tre relaterade algoritmer för att införliva demonstrationsdata i DQN.
I djup Q-lärande från demonstration mänskliga demonstrationsdata blandades med de data som genereras av förstärkningen lärande agent, resulterar i snabbare lärande i de flesta av spel REF.
Learning from Demonstrations for Real World Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}