Stora pre-tränade neurala nätverk som BERT har haft stor framgång på senare tid i NLP, motivera en växande kropp av forskning undersöker vilka aspekter av språket de kan lära sig av omärkta data. Den senaste analysen har fokuserat på modellutgångar (t.ex. språkmodellen surprisal) eller interna vektorrepresentationer (t.ex. probing classifiers). Kompletterande till dessa arbeten föreslår vi metoder för att analysera uppmärksamhetsmekanismerna i förtränade modeller och tillämpa dem på BERT. BERT: s uppmärksamhet huvuden uppvisar mönster såsom att ta hand om avgränsa tokens, specifika positionsförskjutningar, eller i stort sett delta över hela meningen, med huvuden i samma lager ofta uppvisar liknande beteenden. Vi visar vidare att vissa uppmärksamhetshuvuden stämmer väl överens med språkliga begrepp om syntax och samreferens. Till exempel finner vi huvuden som sköter de direkta föremålen för verb, bestämmare av substantiv, objekt av prepositioner, och coreferent nämner med anmärkningsvärt hög noggrannhet. Slutligen föreslår vi en uppmärksamhetsbaserad klassificering och använder den för att ytterligare visa att väsentlig syntaktisk information fångas i BERT:s uppmärksamhet.
REF utbildar en probing klassificerare på uppmärksamhetshuvuden av BERT och visar att BERT:s uppmärksamhet huvuden fångar väsentlig syntaktisk information.
What Does BERT Look At? An Analysis of BERT's Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}