Katastrofrisk glömska är ett problem som många maskininlärningsmodeller och algoritmer står inför. När tränas på en uppgift, sedan tränas på en andra uppgift, många maskininlärning modeller "glöm" hur man utför den första uppgiften. Detta anses allmänt vara ett allvarligt problem för neurala nätverk. Här undersöker vi i vilken utsträckning det katastrofala problemet med glömska uppstår för moderna neurala nätverk, där både etablerade och nya gradientbaserade träningsalgoritmer och aktiveringsfunktioner jämförs. Vi undersöker också effekten av förhållandet mellan den första uppgiften och den andra uppgiften på en katastrofal glömska. Vi finner att det alltid är bäst att träna med hjälp av avhopp algoritmen avhopp algoritmen är konsekvent bäst på att anpassa sig till den nya uppgiften, komma ihåg den gamla uppgiften, och har den bästa kompromisskurvan mellan dessa två ytterligheter. Vi finner att olika uppgifter och samband mellan uppgifter resulterar i mycket olika ranking av aktiveringsfunktionsprestanda. Detta tyder på att valet av aktiveringsfunktion alltid bör korsvalideras.
REF undersökte effekten av avhopp och valet av aktiveringsfunktioner på katastrofal glömska.
An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}