Vi föreslår en ny strategi för problemet med att söka ett politiskt område för en Markov-beslutsprocess (MDP) eller en delvis observerbar Markov-beslutsprocess (POMDP), med tanke på en modell. Vår strategi bygger på följande iakttagelse: Alla (PO)MDP kan omvandlas till en "likvärdig" POMDP där alla statsövergångar (med tanke på nuvarande tillstånd och handling) är deterministiska. Detta minskar det allmänna problemet med politiskt sökande till ett problem där vi bara behöver överväga POMDP med deterministiska övergångar. Vi ger ett naturligt sätt att uppskatta värdet av all politik i dessa omvandlade POMDP. Pol isig sökning utförs sedan helt enkelt genom att söka efter en policy med högt uppskattat värde. Vi etablerar också villkor under vilka vårt värde esti mates kommer att vara bra, återhämta teoretiska resultat som liknar dem av Kearns, Mansour och Ng [7], men med "prov komplexitet" gränser som bara har ett polynom snarare än exponentiellt depen dence på horisonten tid. Vår metod gäller godtyckliga POMDPs, inklusive de med infi nite tillstånd och handlingsytor. Vi presenterar också empiriska resultat för vår strategi för ett litet diskret problem, och för ett komplext kontinuerligt tillstånd/kontinuerliga åtgärder problem som innebär att lära sig cykla.
Dessa verk använder PEGASUS algoritm som kan omvandla en stokastisk Markov Decision Process (MDP) eller delvis observable MDP (POMDP) till en deterministisk POMDP REF.
PEGASUS: A Policy Search Method for Large MDPs and POMDPs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}