Vi föreslår en "planera online och lär dig offline" ram för inställningen där en agent, med en intern modell, ständigt måste agera och lära sig i världen. Vårt arbete bygger på det synergistiska förhållandet mellan lokal modellbaserad kontroll, globalt värdefunktionsinlärning och prospektering. Vi studerar hur lokal banoptimering kan hantera approximationsfel i värdefunktionen och kan stabilisera och påskynda värdefunktionsinlärning. Omvänt studerar vi också hur approximativa värdefunktioner kan bidra till att minska planeringshorisonten och möjliggöra bättre strategier utöver lokala lösningar. Slutligen visar vi också hur banoptimering kan användas för att utföra tidssamordnad prospektering i samband med uppskattning av osäkerhet i värdefunktion approximation. Denna undersökning är avgörande för snabb och stabil inlärning av värdefunktionen. Genom att kombinera dessa komponenter möjliggörs lösningar för komplexa kontrolluppgifter, såsom humanoid locomotion och dexterous in-hand manipulation, i motsvarande några minuters erfarenhet i den verkliga världen.
Viktigt är att värdefunktionen i REF modelleras av en ensemble av värdefunktioner.
Plan Online, Learn Offline: Efficient Learning and Exploration via Model-Based Control
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}