Djupa neurala nätverk utbildade på stora övervakade dataset har lett till imponerande resultat under de senaste åren. Eftersom väl annoterade dataset kan vara oöverkomligt dyra och tidskrävande att samla in, har det senaste arbetet utforskat användningen av större men bullriga dataset som lättare kan erhållas. I denna uppsats undersöker vi beteendet hos djupa neurala nätverk på träningsset med massivt bullriga etiketter. Vi visar att framgångsrikt lärande är möjligt även med en väsentligen godtycklig mängd buller. På MNIST finner vi till exempel att noggrannheten på över 90 procent fortfarande kan uppnås även när datauppsättningen har spädts ut med 100 bullriga exempel för varje rent exempel. Sådant beteende håller över flera mönster av etikettbuller, även när bullriga etiketter är partiska mot förvirrande klasser. Vidare visar vi hur den nödvändiga datasetstorleken för framgångsrik träning ökar med högre etikettbuller. Slutligen presenterar vi enkla och genomförbara tekniker för att förbättra inlärningen i systemet med högmärkningsbuller. * Dessa två författare bidrog lika mycket.
Ett beteende av CNNs på utbildningen uppsättning med mycket bullriga etiketter studerades i REF.
Deep Learning is Robust to Massive Label Noise
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}