Detta arbete presenterar en metod för att anpassa ett enda, fast djup neurala nätverk till flera uppgifter utan att påverka prestanda på redan inlärda uppgifter. Genom att bygga på idéer från nätverksquantization och beskärning, lär vi oss binära masker som "piggyback" på ett befintligt nätverk, eller tillämpas på omodifierade vikter av det nätverket för att ge bra prestanda på en ny uppgift. Dessa masker är inlärda i ett end-toend differentiable mode, och ådrar sig en låg overhead på 1 bit per nätverksparameter, per uppgift. Även om det underliggande nätverket är fast, förmågan att maskera individuella vikter gör det möjligt att lära sig ett stort antal filter. Vi visar prestanda jämförbar med dedikerade finjusterade nätverk för en mängd olika klassificeringsuppgifter, inklusive de med stora domänskiften från den ursprungliga uppgiften (ImageNet), och en mängd olika nätverksarkitekturer. Vår prestation är agnostisk till uppgiftsbeställning och vi lider inte av katastrofal glömska eller konkurrens mellan uppgifter.
Slutligen lär sig arbetet med REF att anpassa sig till en ny uppgift genom att lära sig att maskera individuella vikter i ett förskolat nätverk.
Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}