Vi undersöker användningen av tidsmässigt abstrakta handlingar, eller makroåtgärder, i lösningen av Markovs beslutsprocesser. Till skillnad från nuvarande mod els som kombinerar både primitiva handlingar och makro-aktioner och lämnar statsrymden oförändrad föreslår vi en hierarkisk modell (med hjälp av en abstrakt MDP) som endast fungerar med makro-aktioner, och som avsevärt minskar storleken på statsrymden. Detta uppnås genom att makroåtgärder behandlas som lokal politik som verkar i vissa regioner i statsrymden, och genom att stater som befinner sig i det yttersta randområdet begränsas till dem som befinner sig vid regionernas gränser. Den abstrakta MDP approximerar originalet och kan lösas mer effektivt. Vi diskuterar olika sätt på vilka makroåtgärder kan genomföras för att säkerställa en god lösningskvalitet. Slutligen överväger vi hur makroåtgärder kan återanvändas för att lösa multipla, relaterade MDP, och vi visar att detta kan motivera beräkning över huvudet av makro-aktionsgenerering.
I REF uppnås ett liknande resultat med hierarkiska MDP:er som arbetar över delmängder av statsrymden.
Hierarchical Solution of Markov Decision Processes using Macro-actions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}