Den delvis observerbara Markov beslutsprocessen (POMDP) ger en principiell allmän ram för planering under osäkerhet, men att lösa POMDPs optimalt är beräkningsbart, på grund av "dimensionalitetens förbannelse" och "historiens förbannelse". För att övervinna dessa utmaningar introducerar vi det avgränsade Sparse Delvis observable Tree (DESPOT), en gles approximation av standard trosträdet, för online planering under osäkerhet. En DESPOT fokuserar online planering på en uppsättning slumpmässigt utvalda scenarier och fångar kompakt "utförande" av alla strategier under dessa scenarier. Vi visar att den bästa politiken från en DESPOT är nästan optimal, med ett beklagande som beror på representationen av den optimala politiken. Genom att använda detta resultat ger vi en online-planeringsalgoritm, som söker en DESPOT för en policy som optimerar en reglerad objektiv funktion. Regularisering balanserar det uppskattade värdet av en policy enligt scenarierna i urvalet och policystorleken, vilket gör att man undviker att överanstränga sig. Algoritmen visar starka experimentella resultat, jämfört med några av de bästa online POMDP algoritmer som finns tillgängliga. Den har också integrerats i ett autonomt körsystem för kontroll av fordon i realtid. Källkoden för algoritmen är tillgänglig online.
När modellen för det underliggande systemet är tillgänglig, modellbaserade planeringsstrategier erbjuder en principiell ram för att lösa problemet med att välja optimala åtgärder i delvis observerbara stokastiska domäner, t.ex., i arbetet med REF, att övervinna utmaningarna med "förbannelse av dimensionalitet" och "historiens förbannelse", den Determinized Sparse Delially observable Tree (DESPOT), en gles approximation av standard tro träd, för när som helst online planering under osäkerhet, infördes, som fokuserar online planering på en uppsättning slumpmässigt utvalda scenarier och kompakt fångar "utförande" av alla strategier under dessa scenarier.
DESPOT: Online POMDP Planning with Regularization
{'venue': 'JAIR 58 (2017) 231-266', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}