Vi anser att en agents osäkerhet om sin miljö och problemet med att generalisera denna osäkerhet över observationer. Vi fokuserar särskilt på problemet med prospektering i icke-tabulär förstärkning lärande. Med inspiration från den inneboende motivationslitteraturen använder vi sekventiella densitetsmodeller för att mäta osäkerhet, och föreslår en ny algoritm för att härleda en pseudoräkning från en godtycklig sekventiell densitetsmodell. Denna teknik gör det möjligt för oss att generalisera räkna-baserade prospekteringsalgoritmer till det icke-tabulära fallet. Vi tillämpar våra idéer på Atari 2600 spel, vilket ger förnuftiga pseudo-räkningar från rå pixlar. Vi omvandlar dessa pseudo-räknar till inneboende belöningar och få avsevärt förbättrad utforskning i ett antal hårda spel, inklusive den ökända svåra MON-TEZUMA REVENGE.
I REF definieras en pseudoräkning, härledd från en densitetsmodell, som ska användas vid beräkningsbaserad prospektering.
Unifying Count-Based Exploration and Intrinsic Motivation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}