Vi presenterar ett dataset för att utvärdera grammatiken i förutsägelserna i en språkmodell. Vi konstruerar automatiskt ett stort antal minimalt olika par engelska meningar, var och en bestående av en grammatisk och en ogrammatisk mening. De mening par representerar olika variationer av struktur-känsliga fenomen: subjekt-verb överenskommelse, reflexiva anaphora och negativ polaritet poster. Vi förväntar oss att en språkmodell tilldelar en högre sannolikhet till den grammatiska meningen än den ogrammatiska. I ett experiment med denna datauppsättning fungerade en LSTM språkmodell dåligt på många av konstruktionerna. Multi-task utbildning med ett syntaktiskt mål (CCG supertagging) förbättrade LSTM: s noggrannhet, men ett stort gap kvar mellan dess prestanda och noggrannheten hos mänskliga deltagare rekryterade online. Detta tyder på att det finns stort utrymme för förbättringar jämfört med LSTM när det gäller att fånga syntax i en språkmodell.
I REF görs en bedömning av grammatiken hos preutbildade språkmodeller.
Targeted Syntactic Evaluation of Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}