BERT är en ny språkrepresentationsmodell som överraskande har presterat bra i olika språkförståelseriktmärken. Detta resultat indikerar möjligheten att BERT-nätverk fångar strukturell information om språk. I detta arbete ger vi nytt stöd för detta påstående genom att utföra en serie experiment för att packa upp de delar av engelska språket struktur lärt av BERT. Vi visar först att BERT:s formuleringsrepresentation fångar upp information på frasnivå i de lägre skikten. Vi visar också att BERT:s mellanliggande lager kodar in en rik hierarki av språklig information, med ytegenskaper i botten, syntaktiska egenskaper i mitten och semantiska egenskaper i toppen. BERT visar sig kräva djupare skikt när det krävs långdistansinformation, t.ex. För att spåra subjektverb-avtal. Slutligen visar vi att BERT-representationer fångar upp språklig information på ett kompositionellt sätt som efterliknar klassiska, trädliknande strukturer.
En liknande studie av REF visade att BERT fångar in information på frasnivå i de lägre skikten och språklig information i mellanskikten, med ytegenskaper längst ner, syntaktiska egenskaper i mitten och semantiska egenskaper längst upp.
What does BERT learn about the structure of language
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}