Djupa neurala nätverk (DNN) lider ofta av "katastrofisk glömska" under inkrementell inlärning (IL) -en abrupt försämring av prestanda på den ursprungliga uppsättningen av klasser när träningsmålet anpassas till en ny uppsättning klasser. Befintliga IL metoder tenderar att producera en modell som är partisk mot antingen de gamla klasserna eller nya klasser, om inte med hjälp av exemplars av de gamla uppgifterna. För att ta itu med denna fråga föreslår vi ett klassinkrementellt inlärningsparadigm som kallas Deep Model Consolidation (DMC), som fungerar bra även när de ursprungliga utbildningsuppgifterna inte är tillgängliga. Tanken är att först träna en separat modell endast för de nya klasserna, och sedan kombinera de två individuella modellerna tränade på data från två olika klasser (gamla klasser och nya klasser) genom ett nytt utbildningsmål med dubbla destillationer. De två befintliga modellerna konsolideras genom att man utnyttjar allmänt tillgängliga omärkta tilläggsdata. Detta övervinner de potentiella svårigheterna på grund av att ursprungliga träningsdata inte finns tillgängliga. Jämfört med de senaste teknikerna visar DMC betydligt bättre prestanda i CIFAR-100-bildklassificeringen och PASCAL VOC 2007-objektdetekteringsriktmärken i IL-inställningen med en huvud.
Nyligen, Deep Model Consolidation (DMC) föreslår att lära sig nya klasser separat och sedan lära sig en slutlig modell med dubbel destillation och extra omärkta data REF.
Class-incremental Learning via Deep Model Consolidation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}