Trots stor framgång, djupa nätverk inte kan lära sig effektivt i sekventiella multitask inlärningsinställningar eftersom de glömmer de tidigare inlärda uppgifterna efter att ha lärt sig nya uppgifter. Inspirerad av kompletterande inlärningssystemteori, tar vi itu med denna utmaning genom att lära oss en generativ modell som par den nuvarande uppgiften till de tidigare inlärda uppgifterna genom en diskriminerande inbäddning utrymme. Vi lär oss en abstrakt nivå generativ distribution i inbäddningen som gör det möjligt för generering av datapunkter att representera upplevelsen. Vi tar prov från denna distribution och använder erfarenhet replay för att undvika att glömma och samtidigt ackumulera ny kunskap till den abstrakta distributionen för att para den nuvarande uppgiften med tidigare erfarenhet. Vi visar teoretiskt och empiriskt att vårt ramverk lär sig en fördelning i inbäddningen som delas över alla uppgifter och som ett resultat hanterar katastrofal glömska. Tidigare verk har behandlat katastrofal glömska med hjälp av två huvudstrategier: modell konsolidering [Kirkpatrick et al., arXiv:1903.04566v1 [cs.LG] Bevis: Vi anser Z (t) med empirisk distributionq (t) och pseudo-task med distributionen (p (T −1) J ) i nätverket ingångsutrymme, i Theorem 1. Med hjälp av den triangulära ojämlikheten på termen W (q (t),  till (p ) för alla t ≤ s < T, Lemma 1 kan härledas. Lemma 1 förklarar varför vår algoritm kan hantera katastrofal glömska. När framtida uppgifter lärs, uppdaterar våra algoritmer de modellparametrar som är beroende av att minimera den övre gränsen för e t i Eq. 7. Vad är det som händer? Med tanke på lämplig nätverksstruktur och i närvaro av tillräckligt märkta datapunkter minimeras termerna e J t‐1 och e C (-* ) med ERM, och den sista konstanta termen skulle vara liten. Termen W (q (t), (p (t) J )) är minimal eftersom vi avsiktligt passar distributionenp (t) J till distributionen en (q (t) ) i inbäddningsutrymmet och helst lära sig  på ett sådant sätt att... Denna term visar att minimering av diskrimineringsförlusten är avgörande som först då, vi kan passa en GMM distribution på P (t) ) med hög noggrannhet. På samma sätt är summan termer i Eq 7 minimeras eftersom på t = s vi tar prover från p (s-1) J och genomdriva indirekt p (s-1) J  på (t-) ((p (s-1) J ) ). Eftersom den övre gränsen av e t i Eq 7 minimeras och är beroende av trånghet i den övre gränsen, kommer uppgiften Z (t) inte att glömmas bort.
Med utgångspunkt i vårt tidigare arbete REF utvecklar vi en ny metod för generativ erfarenhet replay för att ta itu med katastrofal glömska.
Complementary Learning for Overcoming Catastrophic Forgetting Using Experience Replay
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}