I detta dokument undersöker vi problemet med överbemanning i djupt förstärkande lärande. Bland de vanligaste riktmärkena i RL är det brukligt att använda samma miljöer för både träning och testning. Denna praxis ger relativt lite insikt i en agents förmåga att generalisera. Vi tar itu med denna fråga genom att använda procedurmässigt genererade miljöer för att konstruera distinkta utbildningar och testset. Framför allt introducerar vi en ny miljö kallad CoinRun, utformad som ett riktmärke för generalisering i RL. Med CoinRun tycker vi att agenterna är överanpassade till förvånansvärt stora träningsset. Vi visar sedan att djupare konvolutionella arkitekturer förbättrar generaliseringen, liksom metoder som traditionellt finns i övervakad inlärning, inklusive L2 legalisering, avhopp, dataförstärkning och batch normalisering. * Arbete utfört som OpenAI Fellow.
Miljöreferensdokumentet från CoinRun tog upp denna fråga genom att procedurmässigt generera stora utbildnings- och testuppsättningar för att bättre mäta generaliseringen.
Quantifying Generalization in Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}