Delvis observerbara Markov beslutsprocesser (POMDP) ger en rik ram för sekventiellt beslutsfattande under osäkerhet inom stokastiska områden. Men att lösa en POMDP är ofta svåråtkomligt utom för små problem på grund av deras komplexitet. Här fokuserar vi på online-strategier som lindrar beräkningskomplexet genom att beräkna god lokal policy vid varje beslutssteg under utförandet. Online algoritmer består i allmänhet av en lookahead sökning för att hitta den bästa åtgärden att utföra vid varje tidpunkt steg i en miljö. Våra mål här är att kartlägga de olika befintliga online-POMDP metoder, analysera deras egenskaper och diskutera deras fördelar och nackdelar; och att noggrant utvärdera dessa online-strategier i olika miljöer under olika mått (avkastning, fel bunden minskning, lägre bundna förbättring). Våra experimentella resultat visar att toppmoderna webbaserade heuristiska sökmetoder kan hantera stora POMDP-domäner effektivt.
I motsats till offline metoder, online POMDP metoder REF beräkna en ny politik vid varje tidpunkt steg.
Online Planning Algorithms for POMDPs
{'venue': 'Journal Of Artificial Intelligence Research, Volume 32, pages 663-704, 2008', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}