Med tanke på en befintlig utbildad neurala nätverk, är det ofta önskvärt att lära sig nya förmågor utan att hindra prestanda för dem som redan lärt sig. Befintliga metoder lär sig antingen suboptimala lösningar, kräver gemensam utbildning eller medför en betydande ökning av antalet parametrar för varje tillagd domän, vanligtvis lika många som det ursprungliga nätverket. Vi föreslår en metod som kallas Deep Adaptation Modules (DAM) som begränsar nyinlärda filter till linjära kombinationer av befintliga. DAMs exakt bevara prestanda på den ursprungliga domänen, kräver en bråkdel (vanligtvis 13 procent, beroende på nätverksarkitektur) av antalet parametrar jämfört med standard finjusterande förfaranden och konvergera i färre cykler av utbildning till en jämförbar eller bättre nivå av prestanda. I kombination med vanliga nätverkskvantiseringstekniker minskar vi ytterligare parameterkostnaden till cirka 3 procent av originalet med försumbar eller ingen förlust i noggrannhet. Den lärda arkitekturen kan styras för att växla mellan olika lärda representationer, vilket gör det möjligt för ett enda nätverk att lösa en uppgift från flera olika domäner. Vi utför omfattande experiment som visar effektiviteten av vår metod på en rad bildklassificeringsuppgifter och utforskar olika aspekter av dess beteende.
Upphovsmän till REF införde en inkrementell inlärningsmetod genom att begränsa nyinlärda filterbanker till att vara en linjär kombination av befintliga.
Incremental Learning Through Deep Adaptation
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}