Neural maskinöversättning (NMT) har uppnått nya state-of-the-art prestanda i att översätta tvetydiga ord. Det är dock fortfarande oklart vilken komponent som dominerar disambikeringsprocessen. I denna uppsats utforskar vi förmågan hos NMT-kodare och dekodrar att reda ut ordförnimmelser genom att utvärdera dolda tillstånd och undersöka fördelningen av självuppmärksamhet. Vi utbildar en klassificerare för att förutsäga om en översättning är korrekt med tanke på representationen av ett tvetydigt substantiv. Vi finner att kodare dolda stater överträffar ord inbäddningar avsevärt som indikerar att kodare tillräckligt koda relevant information för disambigering i dolda stater. I motsats till kodare är effekten av dekoder olika i modeller med olika arkitekturer. Dessutom visar uppmärksamhetsvikterna och uppmärksamhetens entropi att självuppmärksamhet kan upptäcka tvetydiga substantiv och sprida mer uppmärksamhet till sammanhanget.
REF finner att kodare dolda stater överträffar ord inbäddningar avsevärt i ordet dis-ambiguation.
Encoders Help You Disambiguate Word Senses in Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}