Vi introducerar en prospekteringsbonus för djupt förstärkande inlärningsmetoder som är lätt att implementera och ger minimala omkostnader till den beräkning som utförs. Bonusen är felet i ett neuralt nätverk förutsäga funktioner i de observationer som ges av en fast slumpmässigt initierad neurala nätverk. Vi introducerar också en metod för att flexibelt kombinera inneboende och extrinsiska belöningar. Vi finner att den slumpmässiga nätverksdestilleringen (RND) bonus i kombination med denna ökade flexibilitet möjliggör betydande framsteg på flera hårda prospektering Atari spel. I synnerhet etablerar vi state of the art performance på Montezuma's Revenge, ett spel känt svårt för djup förstärkning inlärningsmetoder. Såvitt vi vet, är detta den första metoden som uppnår bättre än genomsnittliga mänskliga prestanda på detta spel utan att använda demonstrationer eller ha tillgång till det underliggande tillståndet i spelet, och ibland slutför den första nivån.
RND är en ny teknik för Intrinsic Motivation baserad på förutsägelsefel, där den inneboende belöningen är felet i ett neuralt nätverk förutsäga funktioner i observationer som ges av en fast slumpmässigt initierade neurala nätverket REF.
Exploration by Random Network Distillation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}