I många finita horisont episodisk förstärkning inlärning (RL) inställningar, är det önskvärt att optimera för de odiskonterade retur -in inställningar som Atari, till exempel, målet är att samla de flesta poäng medan du håller dig vid liv i det långa loppet. Men det kan vara svårt (eller till och med svårt) matematiskt att lära sig med detta mål. Som sådan tillämpas ofta tidsdiskontering för att optimera över en kortare effektiv planeringshorisont. Detta kommer till priset av potentiellt partiska optimeringsmålet bort från det odiskonterade målet. I miljöer där denna skevhet är oacceptabel -där systemet måste optimera för längre horisonter vid högre rabatter - kan målet för värdefunktionen approximator öka i varians som leder till inlärningssvårigheter. Vi presenterar en förlängning av temporal skillnad (TD) lärande, som vi kallar TD (), som bryter ner en värdefunktion i en serie av komponenter baserat på skillnaderna mellan värdefunktioner med mindre diskonteringsfaktorer. Separationen av en längre horisont värdefunktion i dessa komponenter har användbara egenskaper i skalbarhet och prestanda. Vi diskuterar dessa egenskaper och visar teoretiska och empiriska förbättringar över standard TD-inlärning i vissa miljöer.
Slutligen, och samtidigt med detta arbete, föreslår REF TD-algoritmen som bryter en värdefunktion i en serie av värdefunktioner med mindre rabattfaktorer.
Separating value functions across time-scales
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}