Att ta itu med katastrofal glömska är en av de viktigaste utmaningarna i det kontinuerliga lärandet där maskininlärningssystem utbildas med sekventiella eller strömmande uppgifter. Trots den senaste tidens anmärkningsvärda framsteg i toppmoderna djupinlärning, är djupa neurala nätverk (DNN) fortfarande plågade med katastrofal glömska problemet. I detta dokument presenteras en begreppsmässigt enkel men ändå allmän och effektiv ram för hantering av katastrofala glömska i kontinuerlig inlärning med DNN. Den föreslagna metoden består av två komponenter: en neural strukturoptimering komponent och en parameter inlärning och / eller finjustering komponent. Den förra lär sig den bästa neurala strukturen för den nuvarande uppgiften ovanpå den nuvarande DNN tränas med tidigare uppgifter. Det lär sig om att återanvända eller anpassa byggstenar i den nuvarande DNN, eller att skapa nya om det behövs inom den differentierade neurala arkitekturen sökram. De senare uppskattar parametrarna för nyinförda strukturer och finjusterar de gamla om så önskas. Genom att separera den explicita neurala strukturen lärande och parameteruppskattning, är inte bara den föreslagna metoden kapabel att utveckla neurala strukturer på ett intuitivt meningsfullt sätt, men också visar stark förmåga att lindra katastrofisk glömska i experiment. Dessutom överträffar den föreslagna metoden alla andra baslinjer för det permuterade MNIST-datasetet, det delade CIFAR100-datasetetet och Visual Domain Decathlon-datasetet i kontinuerlig inlärningsmiljö.
Nyligen, Learn to Grow (LtG) föreslår en tvådelad strategi med en neural strukturoptimering komponent och en lärande komponent som finjusterar parametrarna REF.
Learn to Grow: A Continual Structure Learning Framework for Overcoming Catastrophic Forgetting
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}