Uppmärksamhetsmekanismen är en framgångsrik teknik i modern NLP, särskilt i uppgifter som maskinöversättning. Den nyligen föreslagna nätverksarkitekturen av Transformer är helt baserad på uppmärksamhetsmekanismer och uppnår nya state of the art resultat i neural maskinöversättning, outperforming andra sekvens-till-sekvens modeller. Hittills är dock inte mycket känt om modellens interna egenskaper och de representationer den lär sig att uppnå. För att studera denna fråga undersöker vi den information som lärs av uppmärksamhetsmekanismen i Transformer-modeller med olika översättningskvalitet. Vi bedömer representationerna av kodaren genom att extrahera beroenderelationer baserat på självuppmärksamhet vikter, vi utför fyra undersökningsuppgifter för att studera mängden syntaktisk och semantisk fångad information och vi testar också uppmärksamhet i en överföring lärande scenario. Vår analys belyser de olika kodarnas relativa styrkor och svagheter. Vi observerar att specifik uppmärksamhet huvuden markerar syntaktiska beroenderelationer och vi kan också bekräfta att lägre lager tenderar att lära sig mer om syntax medan högre lager tenderar att koda mer semantik.
REF visar intressanta fynd om beroenderelationer och syntaktiskt och semantiskt beteende över Transformer-lager.
An Analysis of Encoder Representations in Transformer-Based Machine Translation
{'venue': 'BlackboxNLP@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}