Att ta itu med osäkerheten är avgörande för att autonoma system ska kunna anpassa sig till verkligheten. Vi formulerar problemet med modellosäkerhet som en kontinuerlig Bayes-Adaptive Markov Decision Process (BAMDP), där en agent upprätthåller en bakre fördelning över latenta modellparametrar med tanke på en historia av observationer och maximerar sin förväntade långsiktiga belöning med avseende på denna tro distribution. Vår algoritm, Bayesian Policy Optimization, bygger på senaste policyoptimering algoritmer för att lära sig en universell politik som navigerar prospekterings-exploatering kompromiss för att maximera Bayesian värdefunktionen. För att ta itu med utmaningar från discretizing den kontinuerlig latent parameter utrymme, föreslår vi en policy nätverk arkitektur som självständigt kodar tro distribution från det observerbara tillståndet. Vår metod överträffar avsevärt algoritmer som adresserar modellosäkerhet utan att uttryckligen resonera om trosdistributioner, och är konkurrenskraftig med toppmoderna Delvis observerbara Markov Decision Process lösare. - Vad är det för fel på dig?
Metoder som BPO REF använder uttryckligen trosfördelningen och komprimera den för att lära sig en policy.
Bayesian Policy Optimization for Model Uncertainty
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Engineering', 'Computer Science']}