I detta dokument presenterar vi en teknik för att träna neurala nätverksmodeller på små mängder data. Nuvarande metoder för att utbilda neurala nätverk på små mängder av rika data är vanligtvis beroende av strategier som finjustering av ett förtränat neuralt nätverk eller användning av domänspecifika handgjorda funktioner. Här tar vi strategin att behandla nätverkslager, eller hela nätverk, som moduler och kombinera förtränade moduler med otränade moduler, för att lära sig övergången i distributioner mellan datamängder. Den centrala effekten av att använda ett modulärt tillvägagångssätt är att lägga till nya representationer i ett nätverk, i stället för att ersätta representationer genom finjustering. Med hjälp av denna teknik kan vi överträffa resultat med hjälp av standard finjustering överföring lärande metoder, och vi kan också avsevärt öka prestanda över sådana metoder när du använder mindre mängder data.
Det tillvägagångssätt som användes av Anderson et al. REF behandlar nätverksskikt, eller hela nätverk, som moduler och kombinerar pretränade moduler med otränade moduler, för att lära sig övergången i distributioner mellan datamängder.
Beyond Fine Tuning: A Modular Approach to Learning on Small Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}