Djupt förstärkande inlärningsmetoder kämpar traditionellt med uppgifter där miljövinster är särskilt glesa. En framgångsrik metod för att leda utforskningen inom dessa områden är att efterlikna banor som tillhandahålls av en mänsklig demonstrator. Dessa demonstrationer samlas dock vanligtvis in under artificiella förhållanden, dvs. med tillgång till agentens exakta miljö och demonstratorernas handlings- och belöningsvägar. Här föreslår vi en tvåstegsmetod som övervinner dessa begränsningar genom att förlita sig på bullriga, ojusterade bilder utan tillgång till sådana data. För det första lär vi oss att kartlägga ojusterade videor från flera källor till en gemensam representation med hjälp av självövervakade mål konstruerade över både tid och modalitet (dvs. syn och ljud). För det andra bäddade vi in en enda YouTube-video i denna representation för att skapa en belöningsfunktion som uppmuntrar en agent att imitera mänskligt gameplay. Denna metod av en-shot imitation gör att vår agent att övertygande överträffa mänskliga nivå prestanda på den ökända hårda prospektering spel MONTEZUMA REVENGE, PITFALL! och PRIVATE EYE för första gången, även om agenten inte får några miljövinster.
REF lär neurala inbäddningar från YouTube-videor av hårda prospekteringsspel från Atari-miljön.
Playing hard exploration games by watching YouTube
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}