Vi är förvånade över att BERT:s toppprestanda på 77 % på Argument Resoning Comprehension Task når bara tre poäng under den genomsnittliga otränade mänskliga basnivån. Vi visar dock att detta resultat helt och hållet beror på utnyttjandet av falska statistiska uppgifter i datasetet. Vi analyserar dessa signalers natur och visar att en rad modeller alla utnyttjar dem. Denna analys informerar om konstruktionen av en kontradiktorisk datauppsättning där alla modeller uppnår slumpmässig noggrannhet. Vår kontradiktoriska datauppsättning ger en mer robust bedömning av argumentförståelse och bör antas som standard i det framtida arbetet.
Nya arbeten har utfört kontradiktoriska tester av BERT i Argument Motivering Förståelse Uppgift REF.
Probing Neural Network Comprehension of Natural Language Arguments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}