Katastrofrisk glömska är ett problem med neurala nätverk som förlorar informationen om den första uppgiften efter utbildning den andra uppgiften. Här föreslår vi inkrementell ögonblicksmatchning (IMM) för att lösa detta problem. IMM matchar gradvis tidpunkten för den bakre distributionen av neurala nätverk, som är utbildad för den första respektive den andra uppgiften, respektive. För att göra sökytan för bakre parametern jämn, IMM förfarandet kompletteras med olika överföring inlärningstekniker inklusive viktöverföring, L2-norm av den gamla och den nya parametern, och en variant av avhopp med den gamla parametern. Vi analyserar vår strategi på olika dataset inklusive MNIST, CIFAR-10, Caltech-UCSD-Birds, och Lifelog dataset. Experimentella resultat visar att IMM uppnår toppmoderna resultat i en mängd olika datauppsättningar och kan balansera informationen mellan ett gammalt och ett nytt nätverk.
Baserat på Bayesian neurala nätverk, REF matchar ögonblicket för bakre på båda två uppgifter för att vägleda det nya nätverket till en gemensam låg-terror region.
Overcoming Catastrophic Forgetting by Incremental Moment Matching
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}