Djupa neurala nätverk används i många toppmoderna system för maskinuppfattning. När ett nätverk väl har utbildats för att utföra en specifik uppgift, t.ex. fågelklassificering, kan det inte lätt tränas att utföra nya uppgifter, t.ex. stegvis lära sig känna igen ytterligare fågelarter eller lära sig en helt annan uppgift som blomsterigenkänning. När nya uppgifter läggs till, är typiska djupa neurala nätverk benägna att katastrofalt glömma tidigare uppgifter. Nätverk som kan assimilera ny information stegvis, ungefär som hur människor bildar nya minnen över tiden, kommer att vara effektivare än omskolning modellen från grunden varje gång en ny uppgift behöver läras. Det har gjorts flera försök att utveckla system som minskar katastrofal glömska, men dessa metoder har inte direkt jämförts, de tester som används för att utvärdera dem varierar avsevärt, och dessa metoder har bara utvärderats på småskaliga problem (t.ex. MNIST). I det här dokumentet introducerar vi nya mätvärden och riktmärken för att direkt jämföra fem olika mekanismer som utformats för att mildra katastrofal glömska i neurala nätverk: legalisering, likhet, repetition, dual-memory, och sparse-kodning. Våra experiment på verkliga bilder och ljud visar att de mekanismer som är avgörande för optimal prestanda varierar beroende på inkrementellt träningsparadigm och typ av data som används, men de visar alla att det katastrofala problemet med glömska ännu inte har lösts.
Kontinuerligt lärande: Flera tekniker har föreslagits för att mildra det katastrofala glömska REF.
Measuring Catastrophic Forgetting in Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}