Neural maskinöversättning (NMT) är starkt beroende av ett uppmärksamhet nätverk för att producera en kontext vektor för varje målord förutsägelse. I praktiken finner vi att kontextvektorer för olika målord är ganska lika varandra och därför är otillräckliga för att diskriminativt förutsäga målord. Anledningen till detta kan vara att sammanhang vektorer som produceras av vanilj uppmärksamhet nätverket är bara en viktad summa av källrepresentationer som är invariant till dekoder stater. I detta dokument föreslår vi en ny GRU-inriktad uppmärksamhetsmodell (Gatt) för NMT som ökar graden av diskriminering av kontextvektorer genom att göra det möjligt för källrepresentationer att vara känsliga för den partiella översättning som genereras av dekoder. Gatt använder en inhägnad återkommande enhet (GRU) för att kombinera två typer av information: behandla en källa annotationsvektor som ursprungligen producerades av den dubbelriktade kodaren som historiktillstånd medan motsvarande tidigare dekodertillstånd som indata till GRU. Den GRU-kombinerade informationen bildar en ny vektor för källanmärkning. På så sätt kan vi få översättningskänsliga källrepresentationer som sedan matas in i uppmärksamhetsnätverket för att generera discriminativa kontextvektorer. Vi föreslår vidare en variant som ser en källa annotation vektor som den nuvarande indata medan den tidigare dekoder tillstånd som historien. Experiment på NIST Kinesisk-Engelska översättning uppgifter visar att båda Gatt-baserade modeller uppnå betydande förbättringar över vanilj uppmärksamhet baserade NMT. Ytterligare analyser av uppmärksamhetsvikter och kontextvektorer visar Gatts effektivitet när det gäller att förbättra representationernas diskrimineringsförmåga och hantera den utmanande frågan om överöversättning.
REF observerar den svaga diskrimineringsförmågan hos de uppmärksamhetsgenererade kontextvektorerna och föreslår ett GRU-bundet uppmärksamhetsnätverk.
A GRU-Gated Attention Model for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}