Vi föreslår att förbättra RNN dekoder i en neural maskin översättare (NMT) med externt minne, som en naturlig men kraftfull förlängning till staten i avkodning RNN. Denna minnesförstärkta RNN-dekoder kallas MEMDEC. Varje gång under avkodningen läser MEMDEC ur detta minne och skriver till detta minne en gång, båda med innehållsbaserad adressering. Till skillnad från det obundna minnet i tidigare arbete för att lagra representationen av källmening, är minnet i MEMDEC en matris med förbestämd storlek utformad för att bättre fånga den information som är viktig för avkodningsprocessen vid varje steg. Vår empiriska studie om kinesisk-engelska översättning visar att den kan förbättras med 4,8 BLEU på Groundhog och 5,3 BLEU på Moses, vilket ger den bästa prestandan som uppnås med samma utbildning.
REF använde ett speciellt NTM-minne för att förlänga dekodern i den uppmärksamhetsbaserade NMT.
Memory-enhanced Decoder for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}