POMDP är en kraftfull ram för resonemang under utfall och informationsosäkerhet, men det är svårt att konstruera en korrekt POMDP-modell. Bayes-Adaptive Delvis observable Markov Decision Processes (BAPOMDPs) utökar POMDPs för att göra det möjligt att lära sig modellen under utförandet. BA-POMDP är en Bayesiansk RL-strategi som i princip möjliggör en optimal kompromiss mellan exploatering och prospektering. Tyvärr är BAPOMDPs för närvarande opraktiska att lösa för någon icke-trivial domän. I detta dokument utökar vi Monte-Carlo Tree Search-metoden POMCP till BA-POMDPs och visar att den resulterande metoden, som vi kallar BA-POMCP, kan ta itu med problem som tidigare lösningsmetoder inte har kunnat lösa. Dessutom introducerar vi flera tekniker som utnyttjar BA-POMDP-strukturen för att förbättra effektiviteten hos BA-POMCP tillsammans med bevis på deras konvergens.
Katt m.fl. REF utökar Monte-Carlo Tree Sökmetoden POMCP till BA-POMDPs, resulterar i den toppmoderna ramen för lärande och planering i BAPOMDPs.
Learning in POMDPs with Monte Carlo Tree Search
{'venue': 'Proceedings of the 34th International Conference on Machine Learning, PMLR 70:1819-1827, 2017', 'journal': None, 'mag_field_of_study': ['Computer Science']}