Standardvärdefunktionsmetoder för att hitta policyer för delvis observerbara Markovbeslutsprocesser anses i allmänhet vara oåtkomliga för stora modeller. Intractability av dessa algoritmer är i stor utsträckning en följd av att beräkna en exakt, optimal politik över hela tro utrymme. Men i verkliga POMDP-problem är det ofta onödigt att beräkna den optimala politiken för fullt trosutrymme för god kontroll även för problem med komplicerade policyklasser. Trosföreställningarna som upplevs av regulatorn ligger ofta nära en strukturerad, lågdimensionell subrymd inbäddad i den högdimensionella trosrymden. Att hitta en bra approximation till den optimala värdefunktionen för endast denna subrymd kan vara mycket enklare än att beräkna den fulla värdefunktionen. Vi introducerar en ny metod för att lösa storskaliga POMDPs genom att minska dimensionaliteten i trosrummet. Vi använder Exponential familj Principal Components Analysis (Collins, Dasgupta, & Schapire, 2002) för att representera glesa, högdimensionella trosrum med hjälp av små uppsättningar av inlärda funktioner i trostillståndet. Vi planerar då endast i termer av de lågdimensionella trosdragen. Genom att planera i detta lågdimensionella utrymme kan vi hitta policyer för POMDP-modeller som är storleksordningar större än modeller som kan hanteras med konventionella tekniker. Vi demonstrerar användningen av denna algoritm på ett syntetiskt problem och på mobila robot navigationsuppgifter.
Komplexitet minskning av POMDPs via exponentiell familj huvudkomponenter analys möjliggör planering på en liten dimensional grenrör i REF.
Finding Approximate POMDP solutions Through Belief Compression
{'venue': 'Journal Of Artificial Intelligence Research, Volume 23, pages 1-40, 2005', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}