Belöningar är glesa i den verkliga världen och de flesta dagens förstärkande inlärningsalgoritmer kämpar med sådan gleshet. En lösning på detta problem är att låta agenten skapa belöningar för sig själv - vilket gör belöningarna täta och mer lämpliga för lärande. I synnerhet, inspirerad av nyfikna beteende hos djur, kan observera något nytt belönas med en bonus. Denna bonus sammanfattas med den verkliga uppgiften belöning - vilket gör det möjligt för RL algoritmer att lära sig av den kombinerade belöningen. Vi föreslår en ny nyfikenhet metod som använder episodiska minne för att bilda nyhet bonus. För att bestämma bonusen jämförs den aktuella observationen med observationer i minnet. Avgörande är att jämförelsen görs utifrån hur många miljösteg den tar för att nå den nuvarande observationen från dem i minnet - som innehåller rik information om miljödynamik. Detta gör att vi kan övervinna de kända "couch-potato" frågorna om tidigare arbete - när agenten hittar ett sätt att omedelbart tillfredsställa sig själv genom att utnyttja åtgärder som leder till knappast förutsägbara konsekvenser. Vi testar vår strategi i visuellt rika 3D-miljöer i VizDoom, DMLab och MuJoCo. I navigeringsuppgifter från VizDoom och DMLab överträffar vår agent den toppmoderna kuriositetsmetoden ICM. I MuJoCo, en myra utrustad med vår kuriositet modul lär sig locomotion av första person-syn nyfikenhet bara. * Delat första författarskap.
På liknande sätt, Savinov et al. REF definierade en annan nyfikenhet metriska baserat på hur många steg det tar för att nå den nuvarande observationen från de i minnet, vilket fångar miljön dynamik.
Episodic Curiosity through Reachability
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}