Vi studerar ett förhållningssätt till policyval för stora relationella Markovbeslutsprocesser (MDP). Vi överväger en variant av approximativ policy iteration (API) som ersätter det vanliga inlärningssteget med ett inlärningssteg i policyområdet. Detta är fördelaktigt inom områden där god politik är lättare att representera och lära än motsvarande värdefunktioner, vilket ofta är fallet för de relationella MDP som vi är intresserade av. För att kunna tillämpa API på sådana problem introducerar vi ett relationellt policyspråk och motsvarande inlärare. Dessutom introducerar vi en ny bootstrappningsrutin för målbaserade planeringsdomäner, baserad på slumpmässiga promenader. Sådan bootstrappning är nödvändig för många stora relationella MDP, där belöningen är extremt gles, eftersom API är ineffektiv inom sådana områden när den initieras med en oinformerad politik. Våra experiment visar att det resulterande systemet kan hitta en bra policy för ett antal klassiska planeringsområden och deras stokastiska varianter genom att lösa dem som extremt stora relationella MDP. Experimenten pekar också på vissa begränsningar i vårt tillvägagångssätt, vilket tyder på framtida arbete.
Ref överväga en variant av approximativ policy iteration (API) där de ersätter inlärningssteget värdefunktion med ett inlärningssteg i det politiska området.
Approximate Policy Iteration with a Policy Language Bias: Solving Relational Markov Decision Processes
{'venue': 'Journal Of Artificial Intelligence Research, Volume 25, pages 75-118, 2006', 'journal': None, 'mag_field_of_study': ['Computer Science']}