I detta dokument introducerar vi idén om att förbättra prestandan hos parametrisk tidsskillnad (TD) inlärningsalgoritmer genom att selektivt betona eller avbetona deras uppdateringar på olika tidssteg. I synnerhet visar vi att en varierande betoning av linjära TD-uppdateringar på ett visst sätt gör att den förväntade uppdateringen blir stabil under utbildning utanför politiken. De enda tidigare modellfria TD-metoderna för att uppnå detta med linjära beräkningar per steg i antalet parametrar för funktions approximation är gradient-TD-familjen av metoder, inklusive TDC, GTD(λ) och GQ(λ). Jämfört med dessa metoder är vår emfatiska TD(λ) enklare och enklare att använda; den har bara en inlärd parametervektor och en stegstorleksparameter. Vår behandling omfattar allmän statligt beroende rabatt och bootstrappa funktioner, och ett sätt att ange olika grad av intresse för att korrekt värdera olika stater. Nyckelord: lärande med tidsskillnad, utbildning utanför politiken, funktionstillnärmning, konvergens, stabilitet Temporal-differentiering (TD) lärande är kanske den viktigaste idén att komma ut ur området för att förstärka lärandet. Det problem den löser är att effektivt lära sig att göra en sekvens av långsiktiga förutsägelser om hur ett dynamiskt system kommer att utvecklas över tiden. Nyckelidén är att använda förändringen (temporär skillnad) från en förutsägelse till nästa som ett fel i den tidigare förutsägelsen. Till exempel, om du förutsäger på varje dag vad aktiemarknadsindexet kommer att vara i slutet av året, och händelser leder dig en dag att göra en mycket lägre förutsägelse, då skulle en TD-metod dra slutsatsen att de förutsägelser som gjordes före nedgången förmodligen var för höga; det skulle justera parametrarna för sin förutsägelse funktion för att göra lägre förutsägelser för liknande situationer i framtiden. Detta tillvägagångssätt står i kontrast till konventionella metoder för förutsägelse, som väntar till slutet av året när det slutliga aktiemarknadsindexet är känt innan några parametrar justeras, eller gör endast kortsiktiga (t.ex. en dag) förutsägelser och sedan iterera dem för att producera en årsprognos. TD metoden är mer bekväm beräkning eftersom det kräver mindre minne och eftersom dess beräkningar är jämnt fördelade över året (snarare än att samlas
Ett av de relaterade arbetet till optimal temporal skillnad lärande är den kraftfulla temporal skillnad lärande (ETD) arbete genom REF.
An Emphatic Approach to the Problem of Off-policy Temporal-Difference Learning
{'venue': 'Journal of Machine Learning Research 17(73): 1-29, 2016', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}