Ökat lärande syftar till att uppnå goda resultat för nya kategorier utan att glömma gamla. Kunskap destillering har visat sig vara avgörande för att bevara prestandan på gamla klasser. Konventionella metoder, dock, successivt destillera kunskap endast från den sista modellen, vilket leder till prestandanedbrytning på de gamla klasserna i senare inkrementella inlärningssteg. I detta dokument föreslår vi en strategi för kunskapsdestillation på flera modeller och på flera nivåer. Istället för att successivt destillera kunskap endast från den sista modellen, vi direkt utnyttja alla tidigare modell ögonblicksbilder. Dessutom innehåller vi en extra destillering för att ytterligare bevara kunskap kodad på mellannivå. För att göra modellen mer minneseffektiv anpassar vi maskbaserad beskärning för att rekonstruera alla tidigare modeller med ett litet minnesavtryck. Experiment på standardriktmärken för inkrementellt lärande visar att vår metod bevarar kunskapen om gamla klasser bättre och förbättrar den övergripande prestandan jämfört med standarddestillationsteknik.
I REF destillerar den nuvarande modellen kunskap från beskurna versioner av alla tidigare modellögonblicksbilder.
M2KD: Multi-model and Multi-level Knowledge Distillation for Incremental Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}