Ett stort hinder mot artificiell intelligens är modellernas dåliga förmåga att snabbt lösa nya problem, utan att glömma tidigare förvärvade kunskaper. För att bättre förstå denna fråga studerar vi problemet med kontinuerlig inlärning, där modellen en gång i taget lägger märke till exempel på en sekvens av uppgifter. För det första föreslår vi en uppsättning mått för att utvärdera modeller som lär sig över en kontinuum av data. Dessa mått karakteriserar modellerna inte bara med deras testnoggrannhet, utan också med avseende på deras förmåga att överföra kunskap över uppgifter. För det andra föreslår vi en modell för fortlöpande lärande, kallad Gradient of Episodic Memory (GEM), som lindrar glömska samtidigt som den möjliggör en fördelaktig överföring av kunskap till tidigare uppgifter. Våra experiment på varianter av MNIST och CIFAR-100 visar GEM:s starka prestanda jämfört med toppmoderna. 1. Vad är det för fel på dig? Icke-iied indata: Kontinuum av data är inte iid med avseende på någon fast sannolikhetsfördelning P (X, T, Y ) eftersom, när uppgifter byter, en hel sekvens av exempel från den nya uppgiften kan observeras. 2. Utgångspunkten är följande: Katastrofrisk glömska: att lära sig nya uppgifter kan skada elevens prestation vid tidigare lösta uppgifter. 3. Vad är det som händer? Övergång lärande: när uppgifterna i kontinuum är relaterade, det finns en möjlighet till överföring lärande. Detta skulle leda till ett snabbare lärande av nya uppgifter och prestandaförbättringar av gamla uppgifter. Resten av detta dokument är organiserat enligt följande. I Avsnitt 2, formaliserar vi problemet med kontinuerlig inlärning, och introducerar de mått som krävs för att utvärdera elever i detta scenario. I avsnitt 3 föreslår vi GEM, en modell för att lära sig över kontinuum av data som lindrar glömska, samtidigt överföra nyttig kunskap till tidigare uppgifter. I avsnitt 4 jämför vi GEM:s resultat med den senaste tekniken. Slutligen avslutar vi med att granska den relaterade litteraturen i avsnitt 5 och ge några anvisningar för framtida forskning i avsnitt 6. Det centrala föremålet för studien i detta dokument är kontinuum av data av ekv. (1) där varje triol (x i, t i, y i ) bildas av en funktion vektor x i X ti, en uppgift deskriptor t i T, och en målvektor y i Y ti. För enkelhetens skull antar vi att kontinuum är lokalt iid, d.v.s. varje trilling (Medan vi observerar data som i ekv. (1) exempel genom exempel, vårt mål är att lära sig en prediktor f : X × T → Y, som kan ifrågasättas när som helst för att förutsäga den målvektor som är associerad med ett testpar (x, t). Sådana testpar kan tillhöra en uppgift som vi har observerat i det förflutna, den nuvarande uppgiften, eller en uppgift som vi kommer att uppleva (eller inte) i framtiden. En viktig del i vårt ramverk är insamlingen av uppgiftsdeskriptorer t 1,. .., t n T. I det enklaste fallet, uppgift deskriptorer är heltal, t i = i  på Z, räkna upp de olika uppgifter som visas i kontinuum av data. Mer allmänt kan uppgiftsdeskriptorer t i vara strukturerade objekt, såsom en paragraf i naturligt språk som förklarar hur man löser den i-th uppgiften. Rika uppgiftsdeskriptorer erbjuder en möjlighet till noll-sprut-inlärning, eftersom relationen mellan uppgifter kan härledas enbart med hjälp av uppgiftsdeskriptorer. Dessutom disambigerar uppgiftsbeskrivningen liknande inlärningsuppgifter. I synnerhet kan samma indata x i visas i två olika uppgifter, en som kräver klassificering, och den andra som kräver regression. Uppgiftsdeskriptorer kan hänvisa till förekomsten av flera inlärningsmiljöer, eller ge ytterligare (eventuellt hierarkisk) kontextuell information om vart och ett av exemplen. Därefter diskuterar vi utbildningsprotokoll och utvärderingsmått för fortlöpande lärande. Merparten av litteraturen om lärande över en sekvens av uppgifter [Rusu et al., 2016, Fernando et al., 2017, Kirkpatrick et al., 2017, Rebuffi et al., 2017 beskriver en miljö där i) antalet uppgifter är litet, ii) antalet exempel per uppgift är stort, iii) eleven utför flera epoker över exemplen om varje uppgift, och iv) det enda metriska rapporterade är den genomsnittliga prestandan över alla uppgifter. Däremot är vi intresserade av den "mer mänskliga-liknande" inställningen där i) antalet uppgifter är stort, ii) antalet utbildningsexempel per uppgift är litet, iii) eleven observerar de exempel som gäller varje uppgift bara en gång, och iv) vi rapporterar mätvärden som mäter både överföring och glömska. Därför, vid träningstid vi ger eleven med bara ett exempel på tiden (eller en liten mini-batch), i form av en trilling (x i, t i, y i ). Inläraren upplever aldrig samma exempel två gånger, och uppgifter streamas i följd. 1 Förutom att övervaka dess prestanda genom olika uppgifter är det också viktigt att bedöma inlärarens förmåga att överföra kunskap. Mer specifikt skulle vi vilja mäta: 1. Backward överföring (BWT), som är det inflytande som lära sig en uppgift t har på prestandan på en tidigare uppgift t ′  på t. Å ena sidan finns det positiv bakåt överföring
Lopez-Paz m.fl. REF föreslår att använda en episod minne och ojämlikhet begränsningar för att möjliggöra positiv bakåt överföring.
Gradient Episodic Memory for Continual Learning
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}