Stora djupa neurala nätverk är kraftfulla, men uppvisar oönskade beteenden såsom memorisering och känslighet för kontradiktoriska exempel. I detta arbete föreslår vi blandning, en enkel inlärningsprincip för att lindra dessa frågor. I huvudsak tränar mixup ett neuralt nätverk på konvexa kombinationer av par av exempel och deras etiketter. Genom att göra så, mixup legaliserar neurala nätverket för att gynna enkla linjära beteende mellan träningsexempel. Våra experiment på ImageNet-2012, CIFAR-10, CIFAR-100, Google kommandon och UCI dataset visar att mixup förbättrar generaliseringen av toppmoderna neurala nätverk arkitekturer. Vi finner också att mixup minskar memoreringen av korrupta etiketter, ökar robustheten till kontradiktoriska exempel, och stabiliserar utbildningen av generativa kontradiktoriska nätverk. * Alfabetisk ordning.
mixup REF är en annan nyutvecklad metod för att automatiskt generera mjuka etiketter baserade på konvexa kombinationer av exempelpar och deras hårda etiketter, och har visat sig förbättra generalisering och adversariell robusthet samtidigt minska memorisering.
mixup: Beyond Empirical Risk Minimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}