Djupa neurala nätverk (DNN) är sårbara för kontradiktoriska exempel, störningar för korrekt klassificerade exempel som kan orsaka modellen att felklassificera. I bilddomänen är dessa perturbationer ofta praktiskt taget oskiljaktiga för människans uppfattning, vilket får människor och moderna modeller att vara oense. Men i det naturliga språket är små perturbationer tydligt märkbara, och ersättandet av ett enda ord kan drastiskt förändra dokumentets semantik. Med tanke på dessa utmaningar använder vi en populationsbaserad optimeringsalgoritm i svartbox för att generera semantiskt och syntaktiskt liknande kontradiktoriska exempel som lurar vältränade känsloanalys- och textexperimentmodeller med en framgångsgrad på 97 % respektive 70 %. Vi visar dessutom att 92,3% av den framgångsrika känsloanalysens kontradiktoriska exempel klassificeras efter sin ursprungliga beteckning av 20 mänskliga annoterare, och att exemplen är märkbart ganska lika. Slutligen diskuterar vi ett försök att använda kontradiktorisk träning som försvar, men misslyckas med att ge förbättringar, vilket visar styrkan och mångfalden i våra kontradiktoriska exempel. Vi hoppas att våra rön uppmuntrar forskare att sträva efter att förbättra DNN:s robusthet i det naturliga språkdomänen.
REF införde en algoritm för att generera kontradiktoriska exempel på känsloanalys och textförståelse genom att ersätta ord i meningen med liknande tokens som bevarar språkmodellens poängsättning och maximerar målklassens sannolikhet.
Generating Natural Language Adversarial Examples
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}