Modellfri förstärkning lärande (RL) är ett kraftfullt, allmänt verktyg för att lära komplexa beteenden. Men dess proveffektivitet är ofta opraktiskt stor för att lösa utmanande verkliga problem, även med icke-politiska algoritmer som Q-learning. En begränsande faktor i klassisk modellfri RL är att inlärningssignalen endast består av skalära belöningar, ignorerar mycket av den rika informationen som finns i statsövergång tuples. Modellbaserad RL använder denna information, genom att träna en prediktiv modell, men uppnår ofta inte samma asymptotiska prestanda som modellfri RL på grund av modellbias. Vi introducerar tidsskillnadsmodeller (TDMs), en familj av målanpassade värdefunktioner som kan tränas med modellfritt lärande och användas för modellbaserad styrning. TDM kombinerar fördelarna med modellfri och modellbaserad RL: de utnyttjar den rika informationen i statsövergångar för att lära sig mycket effektivt, samtidigt som de uppnår aymptotiska prestanda som överstiger de direkta modellbaserade RL-metoderna. Våra experimentella resultat visar att TDM på en rad kontinuerliga kontrolluppgifter ger en betydande förbättring av effektiviteten jämfört med de senaste modellbaserade och modellfria metoderna.
REF föreslår Temporal Difference Models (TDM) som uppskattar målriktade horisontberoende värdefunktioner, Q(s, a, g, τ ).
Temporal Difference Models: Model-Free Deep RL for Model-Based Control
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}