Detta dokument presenterar en metod för att lägga till flera uppgifter till ett enda djupt neuralt nätverk samtidigt undvika katastrofal glömska. Inspirerade av teknik för beskärning av nätverk utnyttjar vi uppsägningar i stora djupa nätverk för att frigöra parametrar som sedan kan användas för att lära sig nya uppgifter. Genom att utföra iterativ beskärning och omskolning av nätverk, kan vi successivt "packa" flera uppgifter i ett enda nätverk samtidigt som vi säkerställer minimal nedgång i prestanda och minimal lagring overhead. Till skillnad från tidigare arbete som använder proxyförluster för att upprätthålla noggrannheten på äldre uppgifter, optimerar vi alltid för den aktuella uppgiften. Vi utför omfattande experiment på en mängd olika nätverksarkitekturer och storskaliga datauppsättningar, och observerar mycket bättre robusthet mot katastrofal glömska än tidigare arbete. I synnerhet kan vi lägga till tre finkorniga klassificeringsuppgifter till ett enda ImageNettrained VGG-16-nätverk och uppnå noggrannheter nära dem som finns i separat utbildade nätverk för varje uppgift.
Viktbaserad beskärning har beaktats i REF för att anpassa ett enda neuralt nätverk till flera uppgifter.
PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}