Modellfria metoder för djupt förstärkande inlärning (RL) har varit framgångsrika inom en mängd olika simulerade domäner. Ett stort hinder för djup RL i den verkliga världen är dock deras höga urval komplexitet. Batch policy gradient metoder erbjuder stabilt lärande, men till priset av hög varians, vilket ofta kräver stora partier. Metoder i TD-stil, såsom icke-politiska aktörskritiska och Q-lärande, är mer urvalseffektiva men partiska, och kräver ofta kostsamma hyperparameter svep för att stabilisera. I detta arbete strävar vi efter att utveckla metoder som kombinerar stabilitet i policygradienter med effektivitet av off-policy RL. Vi presenterar Q-Prop, en policy gradient metod som använder en Taylor expansion av off-policy kritiker som en kontroll variat. Q-Prop är både effektivt och stabilt och kombinerar effektivt fördelarna med policybaserade och icke-politiska metoder. Vi analyserar kopplingen mellan Q-Prop och befintliga modellfria algoritmer, och använder kontrollvariatteori för att härleda två varianter av Q-Prop med konservativ och aggressiv anpassning. Vi visar att konservativ Q-Prop ger betydande vinster i urval effektivitet över förtroende region policyoptimering (TRPO) med generaliserad fördel uppskattning (GAE), och förbättrar stabiliteten över djup deterministisk politik gradient (DDPG), toppmoderna on-policy och off-policy metoder, på OpenAI Gym's MuJoCo kontinuerliga kontrollmiljöer.
QProp REF lär sig funktionen åtgärdsvärde med hjälp av icke-policydata som används som en kontrollvariation för uppdateringar av policyn.
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}