Standardsäkerhetsmått visar att system för läsförståelse gör snabba framsteg, men i vilken utsträckning dessa system verkligen förstår språket är fortfarande oklart. För att belöna system med verkliga språkkunskaper föreslår vi ett kontradiktoriskt utvärderingssystem för Stanford Question Answering Dataset (SQuAD). Vår metod testar om systemen kan svara på frågor om stycken som innehåller motsträvigt infogade meningar, som automatiskt genereras för att distrahera datorsystem utan att ändra rätt svar eller vilseledande människor. I denna kontradiktoriska inställning sjunker noggrannheten hos sexton publicerade modeller från i genomsnitt 75 % F1-poäng till 36 %; när motståndaren tillåts lägga till ogrammatiska ordsekvenser minskar den genomsnittliga noggrannheten på fyra modeller ytterligare till 7 %. Vi hoppas att våra insikter kommer att motivera utvecklingen av nya modeller som förstår språket mer exakt.
År 2017 var Jia et al. utvärderade robustheten i neural språkbehandling modell med hjälp av Standford Question Responsing Dataset (SQuAD) genom att lägga till motsträvigt införda meningar, och resultatet visade att motstående meningar kunde minska F1 poäng från i genomsnitt 75% till 36% över sexton publicerade modeller 2 REF.
Adversarial Examples for Evaluating Reading Comprehension Systems
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}