Det visas att många publicerade modeller för Stanford Question Answering Dataset (Rajpurkar et al., 2016) saknar robusthet och har en minskning på över 50 % av F1-poängen under kontradiktorisk utvärdering baserad på AddSent-algoritmen (Jia och Liang, 2017). Det har också visat sig att omskolningsmodeller för data som genereras av AddSent har begränsad effekt på deras robusthet. Vi föreslår en ny alternativ motståndare-generation algoritm, AddSentDiverse, som avsevärt ökar variansen inom de kontradiktoriska träningsdata genom att ge effektiva exempel som straffar modellen för att göra vissa ytliga antaganden. För att förbättra robustheten i AddSents semantiska perturbationer (t.ex. antonymer) förbättrar vi tillsammans modellens semantiska-relationsförmåga utöver vår AddSentDiversebaserade adversarial träningsdataförstärkning. Med dessa tillägg visar vi att vi kan göra en toppmodern modell betydligt mer robust, uppnå en 36,5 % ökning av F1-poäng under många olika typer av kontradiktorisk utvärdering samtidigt som prestandan på den vanliga SQuAD-uppgiften bibehålls.
REF förbättrar ytterligare AddSent-motståndaren och föreslår AddSentDiverse som använder ett varierat ordförråd för frågekonverteringsförfarandet.
Robust Machine Comprehension Models via Adversarial Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}