Adversarial utbildning ger ett sätt att legalisera övervakade inlärningsalgoritmer medan virtuell kontraarial utbildning kan utvidga övervakade inlärningsalgoritmer till semi-övervakad inställning. Båda metoderna kräver dock att man gör små perturbationer till ett stort antal poster i indatavektorn, vilket är olämpligt för glesa högdimensionella ingångar såsom ett hett ord representationer. Vi utvidgar motstående och virtuell kontraarial utbildning till textdomänen genom att tillämpa perturbationer till ordet inbäddningar i ett återkommande neuralt nätverk snarare än till den ursprungliga inputen själv. Den föreslagna metoden uppnår toppmoderna resultat på flera riktmärken halvövervakade och helt övervakade uppgifter. Vi tillhandahåller visualiseringar och analyser som visar att det lärda ordet inbäddningar har förbättrats i kvalitet och att under träning är modellen mindre benägna att översitta.
För NLP domän, arbete av Miyato et al. REF utvidgade de kontradiktoriska och virtuella kontradiktoriska utbildningsmetoderna genom att lägga till små störningar i ordet inbäddningar.
Virtual Adversarial Training for Semi-Supervised Text Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}