Många av de senaste banoptimeringsalgoritmerna växlar mellan linjär approximation av systemdynamiken runt medelbanan och konservativ policyuppdatering. Ett sätt att begränsa den politiska förändringen är att begränsa skillnaden mellan Kullback-Leibler-politiken (KL). Dessa metoder har redan visat prov på stor experimentell framgång i utmanande problem som end-to-end-kontroll av fysiska system. Den linjära approximationen av systemdynamiken kan dock medföra en skevhet i uppdateringen av politiken och förhindra konvergens med den optimala politiken. I den här artikeln föreslår vi en ny modell-fri bana-baserad policyoptimering algoritm med garanterad monoton förbättring. Algoritmen tillbaka propagerar en lokal, kvadratisk och tidsberoende Q-Function lärt sig från bana data i stället för en modell av systemet dynamik. Vår policyuppdatering säkerställer exakt KL-konstraint tillfredsställelse utan att förenkla antaganden om systemdynamiken. Vi demonstrerar experimentellt på mycket icke-linjära kontrolluppgifter förbättringen av vår algoritms prestanda i jämförelse med tillvägagångssätt linjärisering av systemdynamiken. För att visa den monotona förbättringen av vår algoritm genomför vi dessutom en teoretisk analys av vårt policyuppdateringsprogram för att härleda en lägre gräns för förändringen i politikens avkastning mellan successiva iterationer.
REF lär sig en lokal quadratic tidberoende Q-funktion från bana data, som de använder för att optimera en tidsberoende stokastisk linjär återkoppling controller.
Model-Free Trajectory-based Policy Optimization with Monotonic Improvement.
{'venue': 'J. Mach. Learn. Res.', 'journal': 'J. Mach. Learn. Res.', 'mag_field_of_study': ['Mathematics', 'Computer Science']}