Djupt förstärkande lärande (RL) har uppnått många framgångar på senare tid, men försökstiden är fortfarande en viktig flaskhals inom forskning och i praktiken. Vi undersöker hur man optimerar befintliga djupa RL-algoritmer för moderna datorer, speciellt för en kombination av CPU och GPU. Vi bekräftar att både policygradient och Q-värdeslärande algoritmer kan anpassas för att lära sig med hjälp av många parallella simulator instanser. Vi finner det vidare möjligt att träna med batchstorlekar som är betydligt större än standard, utan att negativt påverka provens komplexitet eller slutprestanda. Vi utnyttjar dessa fakta för att bygga en enhetlig ram för parallellisering som dramatiskt påskyndar experiment i båda klasserna av algoritmer. Alla neurala nätverksberäkningar använder GPU:er, vilket påskyndar både datainsamling och utbildning. Våra resultat inkluderar att använda en hel DGX-1 för att lära sig framgångsrika strategier i Atari spel på bara några minuter, med hjälp av både synkrona och asynkrona algoritmer.
Efter REF delar vi in DRL-algoritmer i policygradient och Q-värdesinlärningsmetoder.
Accelerated Methods for Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}