Neural maskinöversättning (NMT) har varit ett nytt paradigm i maskinöversättning, och uppmärksamhetsmekanismen har blivit den dominerande metoden med state-of-the-art poster i många språkpar. Även om det finns varianter av uppmärksamhetsmekanismen, alla av dem använder endast timlig uppmärksamhet där en skalär värde tilldelas en kontext vektor som motsvarar ett källord. I detta dokument föreslår vi en finkornig (eller 2D) uppmärksamhetsmekanism där varje dimension av en kontext vektor kommer att få en separat uppmärksamhet poäng. I experiment med uppgiften En-De och En-Fi översättning, den finkorniga uppmärksamhetsmetoden förbättrar översättningskvaliteten i termer av BLEU poäng. Dessutom avslöjar vår anpassningsanalys hur den finkorniga uppmärksamhetsmekanismen utnyttjar den interna strukturen hos kontextvektorer.
REF föreslog en finkornig uppmärksamhetsmekanism för neural maskinöversättning, som också utvidgar skalär uppmärksamhet till vektorisk uppmärksamhet.
Fine-Grained Attention Mechanism for Neural Machine Translation
{'venue': 'Neurocomputing 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}