Vi ger en abstrakt, selektiv u §ing författarens formuleringar: "Artikeln presenterar ett spel-learning program som kallas TD-GAMMON. TD-GAMMON är ett neuralt nätverk som tränar sig att vara en utvärderingsfunktion för spelet backgammon genom att spela mot sig själv och lära sig av resultatet. Det var inte utvecklat för att överträffa alla tidigare datorprogram i backgammon; snarare, dess syfte var att utforska några nya idéer och strategier till traditionella problem i förstärka lärande. Det grundläggande paradigmet för förstärkande inlärning är följande: inlärningsagenten observerar ett inmatningstillstånd eller inmatningsmönster, den producerar en utgångssignal (oftast tänkt som en "handling" eller "kontrollsignal"), och sedan får den en skaklar "ersättning" eller "förstärkning" återkopplingssignal från miljön som visar hur bra eller dålig dess utsignal var. Målet med lärande är att generera optimala åtgärder som leder till maximal belöning, som ofta försenas (dvs., ges i slutet av en lång sekvens av in- och utgångar). Inläraren måste då lösa det tidsbundna kredittilldelningsproblemet, dvs. det måste räkna ut hur man fördelar kredit och blarne till var och en av de ingångar och utgångar som leder till den slutliga belöningssignalen. Paradigmet för förstärkningslärande har haft stor intuitiv dragningskraft och har väckt stort intresse under många år på grund av tanken att eleven kan lära sig på egen hand, utan hjälp av en intelligent "lärare". Tyvärr har det, trots den stora uppmärksamhet som ägnas åt att förstärka inlärningen, hittills varit få praktiska framgångar när det gäller att lösa storskaliga, komplexa, verkliga problem. Kruxet var att den tidsmässiga kredittilldelningsaspekten av problemet med försening har förblivit mycket svår. Många traditionella metoder har också begränsats till att lära sig uppslagsverk eller linjära utvärderingsfunktioner, av vilka ingen verkar lämplig för att hantera många klasser av verkliga problem. Två viktiga händelser på senare tid lovar att övervinna dessa traditionella begränsningar. En av dessa är utvecklingen av ett brett spektrum av nya icke-linjära system för tillnärmning av funktioner, såsom beslutsträd, lokala basfunktioner, splineutrustningssystem och flerskiktsuppfattningar, som verkar kunna lära sig komplexa icke-linjära funktioner av sina ingångar. Den andra utvecklingen är en klass av metoder för att närma sig det tidsbundna kredittilldelningsproblemet som har kallats "Temporal Skillnad" (eller helt enkelt TD) inlärningsmetoder. Den grundläggande idén med TD-metoder är att lärandet baseras på skillnaden mellan tidsbundna på varandra följande förutsägelser. Med andra ord, målet med lärande är att göra leamer nuvarande förutsägelse för den nuvarande inmatningsmönster närmare matcha nästa förutsägelse i nästa steg. Den senaste av dessa TD-metoder är en algoritm för att träna flerlagers neurala nätverk som kallas TD(A). När det lades till en redan stark backgammon program, NEUROGAMMON, det avsevärt förbättrade den senares spelstyrka. Genomförandet har visat att det på en tidsrymd som är lätt att uppnå på superdatorer verkligen är möjligt att lära sig utifrån slumpmässiga poäng och slumpmässiga vikter i utvärderingsfunktionen." Författaren påpekar också att resultaten av TD-GAMMON redan har modifierat mänskliga spelares föreställningar om det bästa draget i vissa specifika garn positioner, där konventionell visdom har tumcd ut för att vara falska.
TD-Gammon REF är en backgammon-agent i världsklass, vars huvudkomponent är ett neuralt nätverk utbildat från självspelande förstärkningsinlärning.