Vi studerar problemet med policyoptimering utanför politiken i Markovs beslutsprocesser och utvecklar en ny policygradientmetod. Tidigare policygradienter utanför politiken har i allmänhet ignorerat missmatchningen mellan fördelningen av stater som besökts under beteendepolicyn som används för att samla in data, och vad skulle vara fördelningen av stater under den inlärda politiken. Här bygger vi på de senaste framstegen för att uppskatta förhållandet mellan Markov kedjan stationär fördelning av stater i policyutvärdering, och presentera en off-policy policy gradient optimering teknik som kan redogöra för denna missmatchning i distributioner. Vi presenterar ett belysande exempel på varför detta är en viktig teoretisk konvergensgaranti för vårt tillvägagångssätt och empiriska simuleringar som belyser fördelarna med att korrigera denna obalans i distributionen.
I den djupa RL-inställningen kan policygradienter korrigeras för att ta hänsyn till skillnaden i fördelningen av de stater som besöktes under den ursprungliga policyn och den inlärda off-policyalgoritmen REF.
Off-Policy Policy Gradient with State Distribution Correction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}