och alex3012 och sujin.shin och icmoon } @kaist.ac.kr Nyligen, utbildning med kontradiktoriska exempel, som genereras genom att lägga till en liten men värsta fall perturbation på inmatning exempel, har förbättrat generaliseringen prestanda neurala nätverk. I motsats till de fördomsfulla enskilda insatserna för att förbättra allmängiltigheten införs i detta dokument motstående avhopp, vilket är en minimal uppsättning avhopp som maximerar skillnaden mellan 1) utbildningstillsynen och 2) resultaten från nätverket med avhopp. De identifierade adversarial dropouts används för att automatiskt konfigurera neurala nätverket i utbildningsprocessen, och vi visade att den samtidiga utbildningen på det ursprungliga och konfigurerade nätverket förbättrar generaliseringen prestanda övervakade och semi-övervakade inlärningsuppgifter på MNIST, SVHN, och CIFAR-10. Vi analyserade den utbildade modellen för att hitta orsakerna till förbättringen. Vi fann att avhopp ökar det glesa i neurala nätverk mer än det vanliga avhoppet. Slutligen bevisade vi också att motstående avhopp är en legaliseringsterm med en rankvärderad hyperparameter som skiljer sig från en kontinuerligt värderad parameter för att ange styrkan i regulariseringen.
Park m.fl. REF förbättrar prestandan för virtuell kontradiktorisk utbildning genom att använda kontradiktorisk avhoppning som maximerar skillnaden mellan utbildningstillsynen och resultaten från nätverket med avhopp.
Adversarial Dropout for Supervised and Semi-supervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}