Vi föreslår en ny djup nätverksarkitektur för livslångt lärande som vi kallar Dynamically Expanderable Network (DEN), som dynamiskt kan bestämma sin nätverkskapacitet när den tränar på en sekvens av uppgifter, för att lära sig en kompakt överlappande kunskapsdelningsstruktur mellan uppgifter. Den är effektivt utbildad på nätet genom att utföra selektiv omskolning, dynamiskt utöka nätkapaciteten vid ankomsten av varje uppgift med endast det nödvändiga antalet enheter, och effektivt förhindrar semantisk drift genom att dela / duplicera enheter och tidssampling dem. Vi validerar DEN på flera offentliga datauppsättningar i scenarier för livslångt lärande på flera offentliga datauppsättningar, där det inte bara avsevärt överträffar befintliga metoder för livslångt lärande för djupa nätverk, utan också uppnår samma prestandanivå som batchmodellen med betydligt färre parametrar.
Dess förlängning presenteras med idén om Dynamically Expanderable Network (DEN) REF.
Lifelong Learning with Dynamically Expandable Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}