BERT är en ny språkrepresentationsmodell som överraskande har presterat bra i olika språkförståelseriktmärken. Detta resultat indikerar möjligheten att BERT-nätverk fångar strukturell information om språk. I detta arbete ger vi nytt stöd för detta påstående genom att utföra en serie experiment för att packa upp de delar av engelska språket struktur lärt av BERT. Vi visar först att BERT:s formuleringsrepresentation fångar upp information på frasnivå i de lägre skikten. Vi visar också att BERT:s mellanliggande lager kodar in en rik hierarki av språklig information, med ytegenskaper i botten, syntaktiska egenskaper i mitten och semantiska egenskaper i toppen. BERT visar sig kräva djupare skikt när det krävs långdistansinformation, t.ex. För att spåra subjektverb-avtal. Slutligen visar vi att BERT-representationer fångar upp språklig information på ett kompositionellt sätt som efterliknar klassiska, trädliknande strukturer.
REF ger nytt stöd för att BERT-nätverk fångar upp strukturell information och utför en rad experiment för att packa upp de delar av engelsk språkstruktur som BERT lärt sig.
What does BERT learn about the structure of language
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}