Kontinuerligt lärande är problemet med att lära sig nya uppgifter eller kunskap samtidigt som man skyddar gammal kunskap och helst generaliserar från gammal erfarenhet för att lära sig nya uppgifter snabbare. Neurala nätverk tränas genom stokastisk lutning nedstigning ofta försämrar gamla uppgifter när de tränas successivt på nya uppgifter med olika datadistributioner. Detta fenomen, som kallas katastrofal glömska, anses vara ett stort hinder för lärande med icke-stationära data eller sekvenser av nya uppgifter, och förhindrar nätverk från att ständigt ackumulera kunskap och färdigheter. Vi undersöker denna fråga i samband med förstärkt inlärning, i en miljö där en agent utsätts för uppgifter i en sekvens. Till skillnad från de flesta andra arbeten ger vi inte en uttrycklig indikation på modellen med uppgiftsgränser, vilket är den mest allmänna omständighet för en lärande agent som utsätts för kontinuerlig erfarenhet. Medan olika metoder för att motverka katastrofal glömska nyligen har föreslagits, utforskar vi en enkel, allmän och till synes förbisedd lösning som att använda erfarenhet replay buffertar för alla tidigare händelser - med en blandning av on-and off-policy lärande, utnyttja beteende kloning. Vi visar att denna strategi fortfarande kan lära sig nya uppgifter snabbt men kan avsevärt minska katastrofala glömska i både Atari och DMLab domäner, även matcha prestanda av metoder som kräver uppgifter identiteter. När buffertlagringen begränsas bekräftar vi att en enkel mekanism för slumpmässigt kassering av data gör det möjligt för en buffert med begränsad storlek att utföra nästan lika bra som en obunden buffert.
Med CLEAR visade REF att erfarenhetsåterspel effektivt kan motverka katastrofal glömska i det kontinuerliga lärandet.
Experience Replay for Continual Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}