I detta betänkande presenterar vi ett nytt riktmärke för ökad inlärning (RL) baserat på Sonic the Hedgehog TM video game franchise. Detta riktmärke är avsett att mäta prestandan hos överföringslärande och enstaka inlärningsalgoritmer inom RL-domänen. Vi presenterar och utvärderar också några basalalgoritmer på det nya riktmärket. Under de senaste åren har det blivit tydligt att djupt förstärkande lärande kan lösa svåra, högdimensionella problem när det ges en bra belöningsfunktion och obegränsad tid att interagera med miljön. Men även om denna typ av lärande är en viktig aspekt av intelligens, så är det inte den enda. Helst skulle intelligenta agenter också kunna generalisera mellan uppgifter, med hjälp av tidigare erfarenhet för att plocka upp nya färdigheter snabbare. I den här rapporten introducerar vi ett nytt riktmärke som vi har utformat för att göra det lättare för forskare att utveckla och testa RL-algoritmer med denna typ av förmåga. De mest populära RL-riktmärkena såsom ALE [1] är inte idealiska för att testa generalisering mellan liknande uppgifter. Som ett resultat av detta tenderar RL-forskningen att "träna på testsetet", skryta med en algoritms slutliga prestanda på samma miljö(er) som den utbildades på. För att fältet ska kunna utvecklas mot algoritmer med bättre generaliseringsegenskaper behöver vi RL-riktmärken med ordentliga uppdelningar mellan "tåg"- och "test"-miljöer, liknande övervakade inlärningsdataset. Vårt riktmärke har en sådan split, vilket gör det idealiskt för att mäta kors-task generalisering. En intressant tillämpning av kors-task generalization är få-shot lärande. Nyligen har övervakade få inlärningsalgoritmer förbättrats genom språng och gränser [2]-[4]. Dessa framsteg har berott på tillgången till goda meta-lärande dataset som Omniglot [5] och. Om vi vill ha bättre RL-algoritmer, är det därför vettigt att konstruera en liknande typ av datauppsättning för RL. Vårt riktmärke är utformat för att vara en meta-learning dataset, bestående av många liknande uppgifter som provtas från en enda uppgift distribution. Därför är det en lämplig testbädd för få RL-algoritmer. Utöver få-shot lärande, det finns många andra tillämpningar av kors-task generalization som kräver rätt typ av riktmärke. Till exempel kanske du vill ha en RL-algoritm för att lära dig utforska i nya miljöer. Vårt riktmärke utgör ett ganska utmanande prospekteringsproblem, och uppdelningen mellan tåg och prov ger en unik möjlighet att lära sig utforska på vissa nivåer och överföra denna förmåga till andra nivåer. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Sonic benchmark REF var utformad för att mäta generalisering i RL genom att separera nivåer av Sonic i Hedgehog TM videospel till utbildning och testuppsättningar.
Gotta Learn Fast: A New Benchmark for Generalization in RL
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}