Vi ger en analytisk jämförelse mellan diskonterad och genomsnittlig belöning tidsskillnad (TD) lärande med linjärt parameteriserade approximationer. Vi tänker först på de två algoritmernas asymptotiska beteende. Vi visar att när diskonteringsfaktorn närmar sig 1, närmar sig värdefunktionen som produceras av diskonterad TD den differentialvärdefunktion som genereras av genomsnittlig belöning TD. Vi hävdar vidare att om den konstanta funktion-som vanligtvis används som en av basfunktionerna i discounted TD-är lämpligt skalas, de övergående beteenden av de två algoritmerna är också liknande. Vår analys tyder på att de beräkningsmässiga fördelarna med genomsnittlig belöning TD som har observerats i vissa tidigare empiriska arbete kan ha orsakats av olämplig basfunktionsskalning snarare än grundläggande skillnader i problemformuleringar eller algoritmer.
Tsitsiklis och Van Roy jämförde analytiskt den diskonterade och genomsnittliga belöning tidsskillnaden lärande med linjärt parameteriserade approximationer REF.
On Average Versus Discounted Reward Temporal-Difference Learning
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}