Djup förstärkning lärande (djup RL) har varit framgångsrik i att lära sofistikerade beteenden automatiskt; dock, inlärningsprocessen kräver ett stort antal prövningar. Däremot kan djuren lära sig nya uppgifter i bara några få försök och dra nytta av sina tidigare kunskaper om världen. I detta dokument försöker man överbrygga denna klyfta. I stället för att utforma en "snabb" förstärkande inlärningsalgoritm föreslår vi att representera den som ett återkommande neuralt nätverk (RNN) och lära den från data. I vår föreslagna metod, RL 2, är algoritmen kodad i vikterna av RNN, som lärs långsamt genom en allmän-syfte ("slow") RL algoritm. RNN får all information som en typisk RL-algoritm skulle få, inklusive observationer, åtgärder, belöningar och uppsägningsflaggor, och behåller sitt tillstånd över episoder i en given Markovbeslutsprocess (MDP). Aktiveringarna av RNN lagrar tillståndet för den "snabba" RL-algoritmen på den aktuella (tidigare osedda) MDP. Vi utvärderar RL 2 experimentellt på både småskaliga och storskaliga problem. På den småskaliga sidan tränar vi den för att lösa slumpmässigt genererade multi-armad bandit problem och ändliga MDPs. Efter att RL 2 har tränats är prestandan på nya MDP nära mänskliga algoritmer med optimala garantier. På den storskaliga sidan testar vi RL 2 på en visionsbaserad navigeringsuppgift och visar att den skalar upp till högdimensionella problem.
Duan m.fl. REF kodar för förstärkning av inlärningsalgoritm med RNN:s vikter, som lärs långsamt genom en generell förstärkningsalgoritm.
RL$^2$: Fast Reinforcement Learning via Slow Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}