Nyligen djupa nätverk kan memorera hela data även när etiketterna är helt slumpmässiga. För att övervinna överutrustning på korrupta etiketter, föreslår vi en ny teknik för att lära sig ett annat neuralt nätverk, som kallas MentorNet, för att övervaka utbildningen av basen djupa nätverk, nämligen StudentNet. Under utbildningen tillhandahåller MentorNet en läroplan (provvägningsschema) för StudentNet att fokusera på provet vars etikett förmodligen är korrekt. Till skillnad från den befintliga läroplanen som vanligtvis är fördefinierad av mänskliga experter, MentorNet lär sig en datadriven läroplan dynamiskt med StudentNet. Experimentella resultat visar att vårt tillvägagångssätt avsevärt kan förbättra generaliseringen av djupa nätverk som är utbildade på korrumperade träningsdata. Särskilt, så vitt vi vet, uppnår vi det bäst publicerade resultatet på WebVision, ett stort riktmärke som innehåller 2,2 miljoner bilder av verkliga bullriga etiketter. Koden finns på https://github.com/google/mentornet.
Nyligen, Jiang et al. föreslå MentorNet REF, som ger ett viktningsschema för StudentNet att fokusera på det urval vars etikett förmodligen är korrekt.
MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels
{'venue': 'published at ICML 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}