Modellbaserat förstärkande lärande (RL) anses vara ett lovande tillvägagångssätt för att minska den prov komplexitet som hindrar modellfria RL. Den teoretiska förståelsen av sådana metoder har dock varit ganska begränsad. Detta dokument introducerar en ny algoritmisk ram för att designa och analysera modellbaserade RL-algoritmer med teoretiska garantier. Vi utformar en meta-algoritm med en teoretisk garanti för monoton förbättring till ett lokalt maximum av den förväntade belöningen. Meta-algoritmen bygger iterativt en lägre gräns för den förväntade belöningen baserat på den uppskattade dynamiska modellen och provbanor, och maximerar sedan den lägre gränsen gemensamt över politiken och modellen. Ramen utvidgar principen om optimism i fråga om osäkerhet till att omfatta icke-linjära dynamiska modeller på ett sätt som inte kräver någon uttrycklig kvantifiering av osäkerhet. Att styra vårt ramverk med förenkling ger en variant av modellbaserade RL-algoritmer Stochastic Lower Bounds Optimization (SLBO). Experiment visar att SLBO uppnår den senaste prestandan när endast en miljon eller färre prover är tillåtna på en rad kontinuerliga kontrollriktmärkesuppgifter. * lika stort bidrag
REF ger urvalskomplexitet och konvergensgarantier som stämmer överens med principen om optimism inför osäkerhet om icke-linjär dynamik.
Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}