En tidsmässigt abstrakt åtgärd, eller ett alternativ, specificeras av en policy och ett terminerings villkor: policyn styr alternativet beteende, och terminerings villkoret ungefär bestämmer dess längd. Generellt är lärande med längre alternativ (som lärande med flerstegsavkastning) känt för att vara mer effektivt. Men om det alternativ som fastställts för uppgiften inte är idealiskt, och inte kan uttrycka den primitiva optimala politiken väl, erbjuder kortare alternativ mer flexibilitet och kan ge en bättre lösning. Således, terminerings villkoret sätter inlärningseffektiviteten i motsats till lösningens kvalitet. Vi föreslår att man löser detta dilemma genom att frikoppla beteende och måluppsägningar, precis som det är gjort med policyer i icke-politiskt lärande. I detta syfte ger vi en ny algoritm, Q(β), som lär sig lösningen med avseende på alla uppsägningsvillkor, oavsett hur alternativen faktiskt slutar. Vi härleder Q(β) genom att kasta lärande med alternativ i en gemensam ram med välstuderade flerstegs lärande utanför politiken. Vi validerar vår algoritm empiriskt, och visar att den håller upp till sina motiverande påståenden.
Dessutom kan vi lära oss staterna och värdet av att avsluta en policy REF.
Learning with Options that Terminate Off-Policy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}