Standardsäkerhetsmått visar att system för läsförståelse gör snabba framsteg, men i vilken utsträckning dessa system verkligen förstår språket är fortfarande oklart. För att belöna system med verkliga språkkunskaper föreslår vi ett kontradiktoriskt utvärderingssystem för Stanford Question Answering Dataset (SQuAD). Vår metod testar om systemen kan svara på frågor om stycken som innehåller motsträvigt infogade meningar, som automatiskt genereras för att distrahera datorsystem utan att ändra rätt svar eller vilseledande människor. I denna kontradiktoriska inställning sjunker noggrannheten hos sexton publicerade modeller från i genomsnitt 75 % F1-poäng till 36 %; när motståndaren tillåts lägga till ogrammatiska ordsekvenser minskar den genomsnittliga noggrannheten på fyra modeller ytterligare till 7 %. Vi hoppas att våra insikter kommer att motivera utvecklingen av nya modeller som förstår språket mer exakt.
I vilken utsträckning dessa system verkligen förstår språket är fortfarande oklart REF.
Adversarial Examples for Evaluating Reading Comprehension Systems
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}