De flesta algoritmer för att lösa POMDPs iterativt förbättra en värdefunktion som implicit representerar en policy och sägs söka i värdefunktionsutrymme. Detta dokument presenterar en strategi för att lösa POMDPs som representerar en politik uttryckligen som en ändlig-state con troller och iterativt förbättrar controller genom sökning i policy utrymme. Två besläktade al gorithms illustrerar detta tillvägagångssätt. Den första är en policy iteration algoritm som kan ut utföra värde iteration i att lösa oändliga horisont POMDPs. Den utgör grunden för en ny heuristisk sökalgoritm som utlovar ytterligare upptrappning genom att fokusera den samlade ansträngningen på regioner i problemområdet som kan nås, eller sannolikt kommer att nås, från en startstat.
REF diskuterade ett tillvägagångssätt för att upprepade gånger utvärdera och förbättra en finit-state controller.
Solving POMDPs by Searching in Policy Space
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}