Multi-lager modeller med flera uppmärksamhet huvuden per lager ger överlägsen översättningskvalitet jämfört med enklare och grundare modeller, men att bestämma vilken källa sammanhang är mest relevant för varje målord är mer utmanande som ett resultat. Därför, härleda hög noggrannhet ord anpassningar från aktiveringarna av en toppmodern neural maskin översättning modell är en öppen utmaning. Vi föreslår en enkel modelltillägg till Transformer arkitektur som använder sig av sina dolda representationer och är begränsad att delta enbart på kodare information för att förutsäga nästa ord. Den kan tränas på tvåspråkiga data utan ordanpassningsinformation. Vi introducerar vidare en ny inställning inference procedur som tillämpar stokastisk lutning nedstigning för att direkt optimera uppmärksamheten aktiveringar mot ett givet målord. De resulterande anpassningarna överträffar dramatiskt det naiva tillvägagångssättet för att tolka Transformers uppmärksamhetsaktiveringar, och är jämförbara med Giza++ på två allmänt tillgängliga datauppsättningar.
REF presenterar ett tillvägagångssätt som eliminerar beroendet av statistiska ordjusterare genom att i stället direkt optimera uppmärksamhet aktiveringar för att förutsäga målordet.
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}