Icke-politiska modellfria metoder för djupt förstärkande lärande med hjälp av tidigare insamlade data kan förbättra urvalseffektiviteten jämfört med policygradientteknik. Å andra sidan är de politiska algoritmerna ofta mer stabila och lättare att använda. I detta dokument undersöks, både teoretiskt och empiriskt, metoder för att slå samman on- and off-policy-uppdateringar för djupt förstärkande lärande. Teoretiska resultat visar att off-policy uppdateringar med en värdefunktion estimator kan interpoleras med policy gradient uppdateringar samtidigt som tillfredsställande prestanda gränser. Vår analys använder kontrollvariata metoder för att producera en familj av policygradientalgoritmer, med flera nyligen föreslagna algoritmer är speciella fall av denna familj. Vi ger sedan en empirisk jämförelse av dessa tekniker med de återstående algoritmiska detaljerna fasta, och visar hur olika blandning av off-policy gradient uppskattningar med on-policy prover bidrar till förbättringar i empiriska prestanda. Den slutliga algoritmen ger en generalisering och enande av befintliga djup policy gradient tekniker, har teoretiska garantier på den skevhet som införs av off-policy uppdateringar, och förbättrar på den senaste modellen-fria djup RL-metoder på ett antal OpenAI Gym kontinuerliga styrriktmärken.
I REF föreslås särskilt IPG för att ena policygradienterna på och utanför politiken.
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}