Historien om lärande för kontroll har varit en spännande fram och tillbaka mellan två breda klasser av algoritmer: planering och förstärkning lärande. Planeringsalgoritmer resonerar effektivt över långa horisonter, men antar tillgång till en lokal policy och avstånd metriska över kollisionsfria vägar. Förstärkt lärande utmärker sig när det gäller utbildningspolitik och staters relativa värden, men misslyckas med att planera över långa horisonter. Trots framgångarna med varje metod inom olika områden är uppgifter som kräver resonemang över långa horisonter med begränsad feedback och högdimensionella observationer fortfarande ytterst utmanande för både planering och förstärkning av inlärningsalgoritmer. Frustrerande, dessa typer av uppgifter är potentiellt mest användbara, eftersom de är enkla att designa (en människa behöver bara ge ett exempel mål tillstånd) och undvika belöningsformning, som kan partiska agenten att hitta en suboptimal lösning. Vi introducerar en allmän kontrollalgoritm som kombinerar styrkan i planering och förstärkning för att effektivt lösa dessa uppgifter. Vårt mål är att bryta ner uppgiften att nå ett avlägset måltillstånd i en sekvens av enklare uppgifter, som var och en motsvarar att nå ett visst delmål. Planeringsalgoritmer kan automatiskt hitta dessa waypoints, men endast om de förses med lämpliga abstraktioner av miljön -nämligen, en graf som består av noder och kanter. Vår huvudsakliga insikt är att denna graf kan konstrueras genom att förstärka inlärning, där en mål-konditionerad värdefunktion ger kantvikter, och noder tas för att ses tidigare observationer i en replay buffert. Med hjälp av grafsökning över vår replay-buffert kan vi automatiskt generera denna sekvens av submål, även i bildbaserade miljöer. Vår algoritm, sök på replay-bufferten (SoRB), gör det möjligt för agenter att lösa glesa belöningsuppgifter över hundra steg, och generaliserar betydligt bättre än standard RL-algoritmer.
Samtidigt föreslår REF också att planera en sekvens av delmål som leder till en slutlig destination enligt en graf abstraktion av världen som erhålls via målinriktad politik.
Search on the Replay Buffer: Bridging Planning and Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}