Vi föreslår lokal distributions mjukhet (LDS), en ny uppfattning om smidighet för statistisk modell som kan användas som en legalisering term för att främja smidigheten i modellen distribution. Vi namngav LDS-baserad legalisering som virtuell kontradiktorisk utbildning (moms). LDS för en modell vid en inmatningspunkt definieras som den KL-divergensbaserade robustheten hos modellens distribution mot lokala störningar runt datapunkten. Mervärdesskatt liknar kontradiktorisk utbildning, men skiljer sig åt genom att den avgör den kontradiktoriska riktningen enbart från modelldistributionen utan att använda etikettinformationen, vilket gör den tillämplig på halvövervakat lärande. Beräkningskostnaden för mervärdesskatt är relativt låg. För neurala nätverk, den ungefärliga gradienten av LDS kan beräknas med högst tre par av framåt och bakåt förökningar. När vi tillämpade vår teknik på övervakad och halvövervakad inlärning för MNIST-datauppsättningen, överträffade den alla andra träningsmetoder än den nuvarande tekniken, som bygger på en mycket avancerad generativ modell. Vi tillämpade också vår metod på SVHN och NORB, och bekräftade vår metods överlägsna prestanda jämfört med den moderna halvövervakade metod som tillämpas på dessa datauppsättningar.
Miyato m.fl. I Ref föreslogs en kontradiktorisk utbildningsmetod baserad på lokal fördelningsutjämning.
Distributional Smoothing with Virtual Adversarial Training
{'venue': 'ICLR 2016', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}