Sammanfattning av denna webbsida: Modellbaserade metoder för att stärka inlärningen ger löftet om att vara dataeffektiv. På grund av utmaningar i lärande dynamik modeller som tillräckligt matchar den verkliga dynamiken, de kämpar för att uppnå samma asymptotiska prestanda som modellfria metoder. Vi föreslår modellbaserad MetaPolicy-optimering (MB-MPO), ett tillvägagångssätt som förbigår det starka beroendet av exakta inlärda dynamiska modeller. Med hjälp av en ensemble av lärda dynamiska modeller lär MB-MPO meta-lär sig en policy som snabbt kan anpassas till alla modeller i ensemblen med ett policygradientsteg. Detta styr meta-politiken mot att internalisera konsekventa dynamiska förutsägelser bland ensemblen samtidigt flytta bördan av att bete sig optimalt w.r.t. Modellskillnaderna mot anpassningssteget. Våra experiment visar att MB-MPO är mer robust för att modellera brister än tidigare modellbaserade metoder. Slutligen visar vi att vår strategi kan matcha den asymptotiska prestandan hos modellfria metoder samtidigt som den kräver betydligt mindre erfarenhet.
REF kombinerar modellbaserad RL och meta-learning med MB-MPO, utbildar en politik för att snabbt anpassa sig till något olika inlärda dynamiska modeller, vilket möjliggör snabbare lärande.
Model-Based Reinforcement Learning via Meta-Policy Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}