De flesta av Neural Machine Translation (NMT) modeller bygger på sekvens-tosequence (Seq2Seq) modell med en koddecoder ram utrustad med uppmärksamhetsmekanismen. Men den konventionella uppmärksamhetsmekanismen behandlar avkodningen vid varje tillfälle steg lika med samma matris, vilket är problematiskt eftersom mjukheten i uppmärksamheten för olika typer av ord (t.ex. innehåll ord och funktion ord) bör skilja sig åt. Därför föreslår vi en ny modell med en mekanism som kallas Själv-Adaptive Control of Temperature (SACT) för att kontrollera mjukheten av uppmärksamhet med hjälp av en uppmärksamhetstemperatur. Experimentella resultat på den kinesiska engelska översättningen och den engelsk-vietnamesiska översättningen visar att vår modell överträffar baslinjemodellerna, och analysen och fallstudien visar att vår modell kan ta hand om de mest relevanta elementen i källsidans sammanhang och generera översättning av hög kvalitet.
I REF föreslås en temperaturmekanism för att ändra uppmärksamhetens mjukhet.
Learning When to Concentrate or Divert Attention: Self-Adaptive Attention Temperature for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}