Maskininlärningsalgoritmer är ofta sårbara för kontradiktoriska exempel som har omärkliga förändringar från de ursprungliga motsvarigheterna men kan lura de toppmoderna modellerna. Det är bra att utvärdera eller till och med förbättra robustheten hos dessa modeller genom att avslöja de illasinnade kontradiktoriska exemplen. I detta dokument presenterar vi TextFooler, en allmän attackram, för att generera naturliga kontradiktoriska texter. Genom att framgångsrikt tillämpa det på två grundläggande naturliga språkuppgifter, textklassificering och textingrepp, mot olika målmodeller, konvolutionella och återkommande neurala nätverk samt de mest kraftfulla pre-tränade BERT, visar vi fördelarna med detta ramverk på tre sätt: (i) effektiv-it överträffar state-of-art attacker i form av framgångsfrekvens och perturbationsfrekvens; (ii) nytto-bevarande-det bevarar semantiskt innehåll och grammatikalitet, och förblir korrekt klassificeras av människor; och (iii) effektiv-it genererar adversarisk text med beräkningskomplex linjär i textens längd.
Dessutom visade REF att BERT är den språkmodell som bäst presterar under motståndare attacker jämfört med CNN och LSTM när det gäller framgångsfrekvens och perturbationsfrekvens, bevarande av semantiskt innehåll och effektivitet för textklassificeringsuppgifter.
Ju l 2 01 9 Is BERT Really Robust ? Natural Language Attack on Text Classification and Entailment Di Jin