Detta arbete undersöker anpassningsproblemen i toppmoderna multihead-uppmärksamhetsmodeller baserade på transformatorarkitekturen. Vi visar att justeringsextraktion i transformatormodeller kan förbättras genom att utöka ett ytterligare inställningshuvud till multi-head source-to-target-komponenten. Detta används för att beräkna skarpare uppmärksamhet vikter. Vi beskriver hur man använder anpassningshuvudet för att uppnå konkurrenskraftiga resultat. För att studera effekten av att lägga till anpassningshuvudet simulerar vi en ordboksstyrd översättningsuppgift, där användaren vill styra översättningen med hjälp av fördefinierade ordlistor. Med det föreslagna tillvägagångssättet uppnår vi upp till 3,8 % BLEU-förbättringar när vi använder ordboken, jämfört med 2,4 % BLEU i grundscenariot. Vi föreslår också anpassning beskärning för att påskynda avkodning i anpassning-baserad neural maskinöversättning (ANMT), som påskyndar översättning med en faktor på 1,8 utan förlust i översättning prestanda. Vi utför experiment på den gemensamma WMT 2016 engelska→Rumänska nyheter uppgift och BOLT kinesiska→Engelska diskussionsforum uppgift.
REF simulerar en ordboksstyrd översättningsuppgift för att utvärdera NMT:s anpassningsextraktion.
On The Alignment Problem In Multi-Head Attention-Based Neural Machine Translation
{'venue': 'WMT 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}