Spädbarn är experter på att leka, med en fantastisk förmåga att generera nya strukturerade beteenden i ostrukturerade miljöer som saknar tydliga extrinsiska belöningssignaler. Vi försöker matematiskt formalisera dessa förmågor med hjälp av ett neuralt nätverk som implementerar nyfikenhetsdriven inneboende motivation. Med hjälp av en enkel men ekologiskt naturalistisk simulerad miljö där en agent kan röra sig och interagera med objekt som den ser, föreslår vi ett "världsmodellnätverk" som lär sig att förutsäga de dynamiska konsekvenserna av agentens handlingar. Samtidigt tränar vi en separat explicit "självmodell" som gör det möjligt för agenten att spåra felkartan för sin världsmodell. Den använder sedan självmodellen för att motsträvigt utmana utvecklingsvärldsmodellen. Vi visar att denna policy får agenten att utforska nya och informativa interaktioner med sin miljö, vilket leder till skapandet av ett spektrum av komplexa beteenden, inklusive ego-motion förutsägelse, objekt uppmärksamhet, och objekt insamling. Dessutom, den världsmodell som agenten lär sig stöder förbättrad prestanda på objektdynamik förutsägelse, upptäckt, lokalisering och igenkänning uppgifter. Tillsammans är våra resultat de första stegen mot att skapa flexibla autonoma agenter som övervakar sig själv i realistiska fysiska miljöer.
Inspirerad av spädbarnens förmåga att generera nya strukturerade beteenden i ostrukturerade miljöer som saknar tydliga extrinsiska belöningssignaler, modellerade REF matematiskt denna mekanism med hjälp av ett neuralt nätverk som implementerar nyfikenhetsdriven inneboende motivation för att skapa en självövervakad agent.
Learning to Play with Intrinsically-Motivated Self-Aware Agents
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}