Uppmärksamhet-baserad sekvens-till-sekvens-modell har visat sig framgångsrik i Neural Machine Translation (NMT). Uppmärksamheten utan hänsyn till avkodningens historia, som inbegriper tidigare information i dekodern och uppmärksamhetsmekanismen, orsakar dock ofta många upprepningar. För att ta itu med detta problem föreslår vi en avkodningsbaserad adaptiv kontroll av uppmärksamhet (ACA) för NMT-modellen. ACA lär sig att kontrollera uppmärksamheten genom att hålla reda på avkodningshistoriken och aktuell information med en minnesvektor, så att modellen kan ta hänsyn till det översatta innehållet och den aktuella informationen. Experiment på kinesisk-engelska översättning och den engelska vietnamesiska översättningen har visat att vår modell avsevärt överträffar de starka baslinjerna. Analysen visar att vår modell kan generera översättning med mindre upprepning och högre noggrannhet. Koden kommer att finnas tillgänglig på https://github.com/lancopku
Att ta itu med effekterna av uppmärksamhetens historiaTu et al. I REF beaktas uppmärksamhetshistoriken.
C L ] 6 F eb 2 01 8 Decoding-History-Based Adaptive Control of Attention for Neural Machine Translation