Jag bedömer i vilken utsträckning den nyligen införda BERT-modellen fångar engelska syntaktiska fenomen, med hjälp av (1) naturligt förekommande subjekt-verb-avtal stimuli; (2) "färglösa gröna idéer" subjekt-verb-avtal stimuli, där innehållsord i naturliga meningar slumpmässigt ersätts med ord som delar samma del av tal och böjning; och (3) manuellt skapade stimuli för subjekt-verb-avtal och reflexiva anafora-fenomen. BERT-modellen presterar anmärkningsvärt bra i alla fall.
På samma sätt fann REF att BERT fångar engelska syntaktiska fenomen anmärkningsvärt väl.
Assessing BERT's Syntactic Abilities
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}