Policygradient är en effektiv teknik för att förbättra en politik i en förstärkt inlärningsmiljö. Vanilj online varianter är dock endast on-policy och inte kan dra nytta av off-policy data. I det här dokumentet beskriver vi en ny teknik som kombinerar policygradient med off-policy Q-learning, med erfarenhet från en replay-buffert. Detta motiveras genom att göra en koppling mellan de fasta punkterna i den regulariserade policygradientalgoritmen och Q-värdena. Denna anslutning gör det möjligt för oss att uppskatta Q-värden från åtgärder preferenser av policy, som vi tillämpar Q-learning uppdateringar. Vi kallar den nya tekniken "PGQL", för policygradient och Q-learning. Vi etablerar också en likvärdighet mellan action-värde monteringstekniker och skådespelare-kritiska algoritmer, som visar att regulariserade policy gradient tekniker kan tolkas som fördel funktion lärande algoritmer. Vi avslutar med några numeriska exempel som visar förbättrad dataeffektivitet och stabilitet för PGQL. I synnerhet testade vi PGQL i den fullständiga sviten av Atari spel och uppnådde prestanda som överträffade både asynkron fördel skådespelare-kritiker (A3C) och Q-learning.
PGQL-algoritmen REF använder en uppskattning av åtgärdsvärdets funktion i målpolicyn för att kombinera policyuppdateringar med de som erhålls från Bellman-felmålet.
Combining policy gradient and Q-learning
{'venue': 'ICLR', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}