En stor utmaning när det gäller att stärka inlärningen är intelligent utforskning, särskilt när belöningarna är glesa eller vilseledande. Två Atari spel fungerar som riktmärken för sådana hård-exploration domäner: Montezuma's Revenge och Pitfall. På båda spelen, nuvarande RL algoritmer presterar dåligt, även de med inneboende motivation, vilket är den dominerande metoden för att uppmuntra prospektering och förbättra prestanda på hårdexploration domäner. För att ta itu med denna brist, introducerar vi en ny algoritm som kallas Go-Explore. Den utnyttjar följande principer: 1) komma ihåg stater som tidigare har besökts, 2) först återvända till ett lovande tillstånd (utan utforskning), sedan utforska från det, och 3) lösa simulerade miljöer genom att utnyttja alla tillgängliga medel (inklusive genom att införa determinism), sedan stärka (skapa en politik som tillförlitligt kan utföra lösningen) via imitation lärande. De kombinerade effekterna av dessa principer ger dramatiska resultatförbättringar på svåra undersökningsproblem. På Montezumas hämnd, utan att ges någon domän kunskap, Go-Explore poäng över 43.000 poäng, nästan 4 gånger den tidigare state of the art. Go-Explore kan också enkelt utnyttja mänsklig-tillhandahållen domän kunskap, och när den utökas med det Go-Explore poäng ett genomsnitt på över 650.000 poäng på Montezuma's Revenge. Dess maximala prestanda på nästan 18 miljoner överträffar det mänskliga världsrekordet med en storleksordning och motsvarar därmed även den strängaste definitionen av "övermänskliga" prestationer. På Pitfall är Go-Explore med domänkunskap den första algoritmen att göra mål över noll. Dess genomsnittliga prestanda på nästan 60.000 poäng överstiger också expert mänskliga prestanda. Eftersom Go-Explore kan producera många högpresterande demonstrationer automatiskt och billigt, överträffar det också tidigare imitationslärande där lösningen tillhandahölls i form av en mänsklig demonstration. Go-Explore öppnar upp många nya forskningsriktningar för att förbättra den och väva in sina insikter i nuvarande RL-algoritmer. Det kan också möjliggöra framsteg på tidigare olösliga svårt utforskande problem inom en rad olika områden, särskilt de många som ofta utnyttjar en simulator under träning (t.ex. robotteknik).
Go-Explore REF använde en sökbaserad algoritm för att lösa svåra prospekteringsproblem.
Go-Explore: a New Approach for Hard-Exploration Problems
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}