Integrering av modellfria och modellbaserade metoder i förstärkande lärande har potential att uppnå hög prestanda för modellfria algoritmer med låg urval komplexitet. Detta är dock svårt eftersom en ofullkomlig dynamiksmodell kan försämra inlärningsalgoritmens prestanda, och i tillräckligt komplexa miljöer kommer dynamiksmodellen nästan alltid att vara ofullkomlig. En viktig utmaning är därför att kombinera modellbaserade metoder med modellfritt lärande på ett sådant sätt att fel i modellen inte försämrar prestandan. Vi föreslår stokastisk ensemble value expansion (STEVE), en ny modellbaserad teknik som tar itu med denna fråga. Genom dynamisk interpolering mellan modellutrullningar av olika horisontlängder för varje enskilt exempel säkerställer STEVE att modellen endast används när så inte innebär några betydande fel. Vår strategi överträffar modellfria baslinjer på utmanande kontinuerliga kontrollriktmärken med en magnitudökning i proveffektivitet, och i motsats till tidigare modellbaserade metoder, försämrar prestandan inte i komplexa miljöer.
Efter denna tråd antar stokastisk ensemble value expansion (STEVE) REF en interpolation av värdeexpansion av olika horisontlängder.
Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion
{'venue': 'Advances in Neural Information Processing Systems, 2019 (pp. 8224-8234)', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}