Djupt lärande med bullriga etiketter är praktiskt taget utmanande, eftersom de djupa modellernas kapacitet är så hög att de helt kan memorera dessa bullriga etiketter förr eller senare under träningen. Inte desto mindre visar färska studier om memoreringseffekterna av djupa neurala nätverk att de först skulle memorera träningsdata från rena etiketter och sedan från bullriga etiketter. Därför föreslår vi i detta dokument ett nytt paradigm för djupt lärande som kallas "samundervisning" för att bekämpa bullriga etiketter. Nämligen, vi tränar två djupa neurala nätverk samtidigt, och låt dem lära varandra med tanke på varje mini-batch: för det första, varje nätverk matar fram alla data och väljer vissa data av möjligen rena etiketter; för det andra, två nätverk kommunicerar med varandra vilka data i denna mini-batch bör användas för utbildning; slutligen, varje nätverk tillbaka sprider de data som väljs av dess kamratnätverk och uppdaterar sig själv. Empiriska resultat på bullriga versioner av MNIST, CIFAR-10 och CIFAR-100 visar att samundervisning är mycket överlägsen de toppmoderna metoderna i robustheten hos utbildade djupa modeller.
I REF 48) infördes två nätverk som kan lära varandra att förkasta felaktiga etiketter.
Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}