I många miljöer ger endast en liten del av alla stater hög belöning. I dessa fall ger få av interaktionerna med miljön en relevant inlärningssignal. Därför kanske vi hellre vill träna på dessa högvärdiga stater och de troliga banor som leder till dem. I detta syfte förespråkar vi att man använder en bakåtsträvande modell som förutsäger de föregående stater som slutar vid en given höglönestat. Vi kan träna en modell som, från ett högt värde tillstånd (eller en som uppskattas ha högt värde), förutsäger och prover som (tillstånd, handling)-tuples kan ha lett till detta högt värde tillstånd. Dessa spår av (tillstånd, handling) par, som vi kallar Recall Traces, prov tagna från denna backtracking modell från ett högt värde tillstånd, är informativa när de slutar i goda stater, och därför kan vi använda dessa spår för att förbättra en politik. Vi ger en variationstolkning för denna idé och en praktisk algoritm där backtracking modellen prover från en ungefärlig bakre fördelning över banor som leder till stora belöningar. Vår metod förbättrar proveffektiviteten i både on- and off-policy RL algoritmer i flera miljöer och uppgifter.
Nyligen, REF och föreslå en lärd backtracking modell för att generera spår som leder till högt värde tillstånd för att få högre urval effektivitet.
Recall Traces: Backtracking Models for Efficient Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}