I Förstärkning Learning (RL) utforskar en agent miljön och samlar in banor i minnesbufferten för senare lärande. De samlade banorna kan dock lätt balanseras med avseende på de uppnådda målstaterna. Problemet med att lära sig av obalanserade data är ett välkänt problem när det gäller övervakat lärande, men har ännu inte blivit grundligt undersökt i RL. För att ta itu med detta problem, föreslår vi en ny Curiosity-Driven Prioritization (CDP) ram för att uppmuntra agenten att överta prov på de banor som sällan har uppnått måltillstånd. CDP-ramverket efterliknar den mänskliga inlärningsprocessen och fokuserar mer på relativt ovanliga händelser. Vi utvärderar våra metoder med hjälp av den robotiska miljö som tillhandahålls av OpenAI Gym. Miljön innehåller sex robotmanipuleringsuppgifter. I våra experiment kombinerade vi CDP med Deep Deterministic Policy Gradient (DDPG) med eller utan Hindsight Experience Replay (HER). De experimentella resultaten visar att CDP förbättrar både prestanda och proveffektivitet hos förstärkande inlärningsagenter, jämfört med toppmoderna metoder.
I REF föreslogs också en kuriositetsdriven prioriteringsram för att uppmuntra provtagning av sällan uppnådda målstater.
Curiosity-Driven Experience Prioritization via Density Estimation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}