Abstract-Vi föreslår en ny legaliseringsmetod baserad på virtuell kontraarial förlust: ett nytt mått på lokal smidighet i utdatadistributionen. Virtuell kontraarial förlust definieras som robustheten i modellens bakre fördelning mot lokal perturbation runt varje inmatningspunkt. Vår metod liknar den kontradiktoriska träningen, men skiljer sig från den kontradiktoriska träningen genom att den bestämmer den kontradiktoriska riktningen endast baserat på utgångsfördelningen och att den är tillämplig på en semiövervakad inställning. Eftersom de riktningar i vilka vi slätar ut modellen är praktiskt taget kontradiktoriska, kallar vi vår metod virtuell kontradiktorisk utbildning (moms). Beräkningskostnaden för mervärdesskatt är relativt låg. För neurala nätverk, den ungefärliga gradienten av virtuella motgångar förlust kan beräknas med högst två par av framåt och bakåt propagationer. I våra experiment tillämpade vi moms på övervakad och halvövervakad inlärning på flera referensdatauppsättningar. Med ytterligare förbättringar baserade på entropiminimeringsprincipen uppnår vår moms toppmoderna prestanda på SVHN och CIFAR-10 för halvövervakade inlärningsuppgifter.
Förutom GAN-baserade metoder har Virtual Adversarial Training (MOMS) REF, som bygger på att begränsa modellprognoser för att vara konsekventa med lokala störningar, också uppnått toppmoderna resultat på riktmärken.
Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Medicine', 'Computer Science', 'Mathematics']}