Förstärkning lärande algoritmer förlitar sig på noggrant ingenjörsmiljö belöningar som är extrinsic till agenten. Att notera varje miljö med handdesignade, täta belöningar är dock inte skalbart, vilket motiverar behovet av att utveckla belöningsfunktioner som är inneboende för agenten. Nyfikenhet är en typ av inneboende belöningsfunktion som använder förutsägelsefel som belöningssignal. I denna uppsats: a) Vi utför den första storskaliga studien av rent nyfikenhetsdrivet lärande, d.v.s. utan några extrinsiska belöningar, över 54 standard referensmiljöer, inklusive Atari spel svit. Våra resultat visar förvånansvärt bra prestanda, och en hög grad av anpassning mellan den inneboende nyfikenhet mål och handdesignade extrinsiska belöningar i många spelmiljöer. (b) Vi undersöker effekten av att använda olika funktioner mellanslag för beräkning av förutsägelsefel och visar att slumpmässiga funktioner är tillräckliga för många populära RL-spel riktmärken, men inlärda funktioner verkar generalisera bättre (t.ex. till nya spelnivåer i Super Mario Bros.). (c) Vi visar begränsningar av de förutsägelsebaserade belöningar i stokastiska inställningar. Spelvideor och kod finns på https://patak22.github. Io/storskalig-kuriositet/.
En storskalig studie av nyfikenhet driven prospektering REF fann att nyfikenhet är korrelerad med de faktiska målen för många miljöer, och rapporterar att användningen av slumpmässiga funktioner lindrar några av de icke-stationaritet implicita i metoder baserade på nyfikenhet.
Large-Scale Study of Curiosity-Driven Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}