I detta dokument föreslår vi en strategi för att undvika katastrofal glömska i scenarion för stegvis inlärning av uppgifter. Vår teknik är baserad på ett nätverk reparameterization som ungefär diagonaliserar Fisher Information Matrix av nätverksparametrarna. Denna reparameterisering tar formen av en faktoriserad rotation av parameterutrymme som, när den används i samband med Elastisk viktkonsolidering (som antar en diagonal Fisher Information Matrix), leder till betydligt bättre prestanda på livslångt lärande av sekventiella uppgifter. Experimentella resultat på datauppsättningarna MNIST, CIFAR-100, CUB-200 och Stanford-40 visar att vi avsevärt förbättrar resultaten av standardelastisk viktkonsolidering, och att vi får konkurrenskraftiga resultat jämfört med toppmoderna inom livslångt lärande utan att glömma.
I REF föreslås en nätreparameterisering för att uppnå en bättre diagonal approximation av Fisher Information-matrisen för nätverksparametrarna.
Rotate your Networks: Better Weight Consolidation and Less Catastrophic Forgetting
{'venue': '2018 24th International Conference on Pattern Recognition (ICPR)', 'journal': '2018 24th International Conference on Pattern Recognition (ICPR)', 'mag_field_of_study': ['Computer Science']}