Modellfri förstärkningsutbildning har framgångsrikt tillämpats på en rad utmanande problem, och har nyligen utökats för att hantera stora neurala nätverkspolicyer och värdefunktioner. Emellertid tenderar prov komplexiteten hos modellfria algoritmer, särskilt när man använder högdimensionella funktion approximatorer, att begränsa deras tillämplighet på fysiska system. I det här dokumentet utforskar vi algoritmer och representationer för att minska prov komplexiteten i djupt förstärkande lärande för kontinuerliga kontrolluppgifter. Vi föreslår två kompletterande tekniker för att förbättra effektiviteten hos sådana algoritmer. För det första härleder vi en kontinuerlig variant av Q-learning-algoritmen, som vi kallar normaliserade adantagefunktioner (NAF), som ett alternativ till den mer allmänt använda policygradienten och skådespelare-kritiska metoder. NAF representation gör det möjligt för oss att tillämpa Q-learning med erfarenhet replay till kontinuerliga uppgifter, och avsevärt förbättrar prestanda på en uppsättning simulerade robotiska styruppgifter. För att ytterligare förbättra effektiviteten i vårt tillvägagångssätt utforskar vi användningen av inlärda modeller för att påskynda modellfritt förstärkande lärande. Vi visar att iterativt refiterade lokala linjära modeller är särskilt effektiva för detta, och visar betydligt snabbare lärande på områden där sådana modeller är tillämpliga.
I detta arbete använder vi normaliserade fördelar funktioner (NAFs), som nyligen har föreslagits som en effektiv metod för kontinuerlig DRL REF.
Continuous Deep Q-Learning with Model-based Acceleration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}