Även om moderna modeller för meningsrepresentation kan utföra uppgifter som kräver betydande kunskaper i grammatik, är det en öppen fråga hur man bäst kan utvärdera deras grammatiska kunskaper. Vi utforskar fem experimentella metoder inspirerade av tidigare arbete med att utvärdera pretränade modeller för meningsrepresentation. Vi använder ett enda språkligt fenomen, negativ polaritet (NPI) licensiering på engelska, som en fallstudie för våra experiment. NPI som alla är grammatiska endast om de visas i en licensmiljö som negation (Sue har inte några katter vs. *Sue har några katter). Detta fenomen är utmanande på grund av de olika NPI licensmiljöer som finns. Vi introducerar en artificiellt genererad dataset som manipulerar nyckelfunktioner i NPI licensiering för experimenten. Vi finner att BERT har betydande kunskap om dessa egenskaper, men dess framgång varierar kraftigt mellan olika experimentella metoder. Vi drar slutsatsen att en mängd olika metoder är nödvändiga för att avslöja alla relevanta aspekter av en modells grammatiska kunskap inom ett visst område.
REF testar BERT på negativ polaritet (NPI) licensiering på engelska, och finner att BERT har betydande kunskaper om dessa grammatiska egenskaper.
Investigating BERT's Knowledge of Language: Five Analysis Methods with NPIs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}