I detta dokument presenterar vi en enkel och effektiv metod för att träna djupa neurala nätverk i en halvövervakad miljö där endast en liten del av träningsdata är märkt. Vi introducerar självförståelse, där vi bildar en konsensusförutsägelse av de okända etiketterna med hjälp av resultaten från nätverks-in-träningen under olika epoker, och viktigast av allt, under olika legaliserings- och inmatningsförstärkningsförhållanden. Denna ensemble förutsägelse kan förväntas vara en bättre prediktor för de okända etiketter än resultatet av nätverket under den senaste utbildningsepoken, och kan därmed användas som ett mål för utbildning. Med vår metod sätter vi nya rekord för två standard halvövervakade riktmärken för lärande, vilket minskar felfrekvensen (icke-augmenterade) för klassificering från 18,44 % till 7,05 % i SVHN med 500 etiketter och från 18,63 % till 16,55 % i CIFAR-10 med 4000 etiketter, och vidare till 5,12 % och 12,16 % genom att möjliggöra standardförstärkningar. Vi får dessutom en tydlig förbättring i CIFAR-100 klassificering noggrannhet genom att använda slumpmässiga bilder från Tiny Images dataset som omärkta extra ingångar under utbildningen. Slutligen visar vi god tolerans mot felaktiga etiketter.
Laine m.fl. REF-annotera omärkta data med hjälp av resultaten från nätverksträningen under olika förhållanden, t.ex. regleringsinmatningsförstärkning.
Temporal Ensembling for Semi-Supervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}