Vi kombinerar övervakat lärande med oövervakat lärande i djupa neurala nätverk. Den föreslagna modellen utbildas för att samtidigt minimera summan av övervakade och oövervakade kostnadsfunktioner genom backpropagation, undvika behovet av lagervis förträning. Vårt arbete bygger på det Ladder-nätverk som Valpola föreslår (2015), som vi utökar genom att kombinera modellen med handledning. Vi visar att den resulterande modellen når state-of-the-art prestanda i semi-övervakad MNIST och CIFAR-10 klassificering, förutom permutationsinvariant MNIST klassificering med alla etiketter. ArXiv:1507.02672v2 [cs.NE] 24 Nov 2015 dekoder kan återställa alla detaljer som kastas av kodaren. Tidigare har Ladder-nätverket endast visats i oövervakat lärande (Valpola, 2015; Rasmus et al., 2015a) men vi kombinerar det nu med övervakat lärande. De viktigaste aspekterna av tillvägagångssättet är följande: Förenlighet med övervakade metoder. Den oövervakade delen fokuserar på relevanta detaljer som finns i övervakad inlärning. Dessutom kan det läggas till befintliga feedfore neurala nätverk, till exempel multi-lager perceptroner (MLP) eller konvolutionella neurala nätverk (CNN) (avsnitt 3). Vi visar att vi kan ta en toppmodern inlärningsmetod som utgångspunkt och förbättra nätverket ytterligare genom att lägga till samtidigt oövervakat lärande (avsnitt 4). Skalbarhet till följd av lokalt lärande. Förutom ett övervakat inlärningsmål på det översta lagret har modellen lokala oövervakade inlärningsmål på varje lager, vilket gör den lämplig för mycket djupa neurala nätverk. Vi demonstrerar detta med två djupt övervakade nätverksarkitekturer. Beräkningseffektivitet. Den kodare delen av modellen motsvarar normal övervakad inlärning. Lägga till en dekoder, som föreslås i detta dokument, ungefär tredubblar beräkningen under utbildningen men inte nödvändigtvis utbildningstiden eftersom samma resultat kan uppnås snabbare genom bättre utnyttjande av tillgänglig information. Totalt sett används beräkning per uppdateringsskala på samma sätt som den övervakade inlärningsmetoden, med en liten multiplikativ faktor. Som förklaras i Avsnitt 2, hoppar anslutningar och lagermässigt oövervakade mål effektivt förvandla autokodrar till hierarkiska latenta variabla modeller som är kända för att vara väl lämpade för semiövervakad inlärning. Vi får faktiskt toppmoderna resultat i halvövervakad inlärning i MNIST, permutation invariant MNIST och CIFAR-10 klassificeringsuppgifter (avsnitt 4). Förbättringarna är dock inte begränsade till semi-övervakade inställningar: för permutation invariant MNIST-uppgiften uppnår vi också ett nytt rekord med den normala fullmärkta inställningen. 1 2 Härledning och motivering Latent variabla modeller är en attraktiv metod för halvövervakat lärande eftersom de kan kombinera övervakat och oövervakat lärande på ett principfast sätt. Den enda skillnaden är om klassetiketterna observeras eller inte. Detta tillvägagångssätt togs till exempel av Goodfellow et al. (2013a) med sin multi-prediction djup Boltzmann maskin. En särskilt attraktiv egenskap hos hierarkiska latenta variabla modeller är att de i allmänhet kan lämna detaljerna för de lägre nivåerna att representera, vilket gör det möjligt för högre nivåer att fokusera på mer invarianta, abstrakta funktioner som visar sig vara relevanta för den aktuella uppgiften.
D-modellen kan också ses som en förenkling av modellen för stegnätet Ref.
Semi-supervised learning with Ladder networks
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}