Denna artikel introducerar en klass av inkrementella inlärningsförfaranden specialiserade för förutsägelse som är, för att använda tidigare erfarenhet med ett ofullständigt känt system för att förutsäga dess framtida beteende. Medan konventionella prediktions-lärande metoder tillskriver kredit med hjälp av skillnaden mellan förutsedda och faktiska resultat, kakel nya metoder tilldela kredit med hjälp av skillnaden mellan temporalt på varandra följande förutsägelser. Även om sådan temporal-skillnad metod ~ har använts i Samuels checker spelare, Hollands hink brigad, och författarens Adaptive Heuristic Critic, de har förblivit dåligt förstådd. Här bevisar vi deras konvergens och optimalitet i specialfall och relaterar dem till metoder för övervakad inlärning. För de flesta verkliga förutsägelseproblem kräver telnporal-differene metoder mindre minne och mindre toppberäkning än konventionella metoder och de producerar mer exakta förutsägelser. Vi hävdar att de flesta problem som övervakas lärande för närvarande är verkligen förutsägelser problem av det slag som tidsskillnad metoder kan tillämpas till fördel. Med tanke på det nuvarande intresset för inlärningsförfaranden för flerskiktsanslutningsnätverk (t.ex., notera att vi här är c (meerned med en annan, uppsättning av frågor. Arbetet med flerskiktsnätverk fokuserar på att lära sig input-output mattor) pings of more comt)lex flm ("rationella former. Det mesta av detta arbete ligger kvar inom det övervakade inlärningsparadigmet, medan vi här är intresserade av att utvidga och gå längre än så. Vi anser mestadels kartläggningar av mycket enkla flmctionala former, eftersom skillnaderna mellan övervakade inlärningsmetoder och TD-metoder är tydligast i dessa fall. Inte desto mindre. De TD-metoder som presenteras här kan [)e direkt utvidga (t till flerskiktsnät (se Seetiou 6.2). I nästa avsnitt introduceras en specifik ('lass of temporal-difference t)roeedures genom att kontrastera dem med kloster ional, övervakad-h,arning at)proaches, med fokus på ("omputational frågor. Avsnitt 3 deveh)ps en förlängd ~'xample som illustrerar i)otential I)erfl)rmance a.dvantage~ TD metoder. Avsnitt 4 innehåller konvergerande och optimala teorem och diskuterar TD-metoder som lutning nedstigning. I avsnitt 5 diskuteras hur man utökar TD t)rocedures, och Se('th)n (i relaterar dem till annan forskning.
Sutton m.fl. REF tilldelar kredit med hjälp av skillnaden mellan tidsbundna på varandra följande förutsägelser.
Learning to predict by the methods of temporal differences
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}