I neural maskin översättning, en källa sekvens av ord kodas in i en vektor från vilken en målsekvens genereras i avkodningsfasen. Annorlunda än statistisk maskinöversättning lagras inte sambanden mellan källorden och deras eventuella målmotsvarigheter explicit. Käll- och målorden befinner sig i de två ändarna av ett långt informationsbehandlingsförfarande, förmedlat av dolda tillstånd vid både källkodskodning och målavkodningsfaserna. Detta gör det möjligt att ett källord felaktigt översätts till ett målord som inte är någon av dess godtagbara motsvarigheter i målspråket. I detta dokument försöker vi att något förkorta avståndet mellan käll- och målord i det förfarandet, och på så sätt stärka deras samband, med hjälp av en metod som vi kallar överbryggande källa och målord inbäddningar. Vi experimenterar med tre strategier: (1) en källsida överbryggande modell, där källord inbäddningar flyttas ett steg närmare utdatamålsekvensen; (2) en målsidan överbryggande modell, som utforskar de mer relevanta källord inbäddningar för förutsägelsen av målsekvensen; och (3) en direkt överbryggande modell, som direkt ansluter källa och mål ord inbäddningar försöker minimera fel i översättningen av en av de andra. Experiment och analyser som presenteras i detta dokument visar att de föreslagna överbryggande modellerna kan avsevärt * Motsvarande författare..., h T representerar källsidan ord inbäddade respektive dolda tillstånd, c t representerar en källa-sidan sammanhang vektor, s t en mål-side dekoder RNN dolt tillstånd, och y t ett förutsagt ord. Att försöka förkorta avståndet mellan käll- och målordens inbäddningar, i det vi kallar överbryggande, är den viktigaste insikten för de framsteg som presenteras i detta dokument. förbättra kvaliteten på både meningsöversättning i allmänhet och anpassning och översättning av enskilda källord med målord, i synnerhet.
I REF föreslås att banlängden mellan den relevanta källan och målbäddarna förkortas för att förbättra inbäddningsskiktet.
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}