Lära, planera, och representera kunskap på flera nivåer av temporal abstraktion är viktiga, långvariga utmaningar för AI. I detta dokument överväger vi hur dessa utmaningar kan hanteras inom ramen för den matematiska förstärkningen av lärandet och Markovs beslutsprocesser. Vi utvidgar det vanliga begreppet åtgärder inom denna ram till att även omfatta strategier för slutna kretslopp för att vidta åtgärder under en tidsperiod. Exempel på alternativ är plocka upp ett objekt, gå på lunch, och resa till en avlägsen stad, liksom primitiva åtgärder såsom muskelryckningar och gemensamma vridmoment. Sammantaget visar vi att alternativ gör det möjligt att tidsmässigt abstrakt kunskap och åtgärder tas med i den förstärkta ramen för lärande på ett naturligt och allmänt sätt. I synnerhet visar vi att alternativ kan användas i utbyte mot primitiva åtgärder i planeringsmetoder som dynamisk programmering och inlärningsmetoder som Q-learning. Formellt utgör en uppsättning alternativ över en MDP en semi-Markov beslutsprocess (SMDP), och teorin om SMDPs utgör grunden för teorin om alternativ. De mest intressanta frågorna rör emellertid samspelet mellan den underliggande MDP och SMDP och ligger därmed bortom SMDP-teorin. Vi presenterar resultat för tre sådana fall: 1) vi visar att resultaten av planering med alternativ kan användas under genomförandet för att avbryta alternativ och därmed prestera ännu bättre än planerat, 2) vi introducerar nya intra-option metoder som kan lära sig om ett alternativ från fragment av dess utförande, och 3) vi föreslår en idé om submål som kan användas för att förbättra alternativen själva. Alla dessa resultat har prekursorer i den befintliga litteraturen; detta dokuments bidrag är att etablera dem i en enklare och mer allmän miljö med färre förändringar av den befintliga förstärkande ramen för lärande. I synnerhet visar vi att dessa resultat kan uppnås utan att åta sig (eller utesluta) någon särskild strategi för stat abstraktion, hierarki, funktion approximation, eller makro-utility problem.
Senare om Ref-förslag till alternativ, policyer för slutna nät med start- och uppsägningsvillkor.
Between MDPs and Semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning
{'venue': 'Artificial Intelligence', 'journal': None, 'mag_field_of_study': ['Computer Science']}