Vi föreslår att förbättra RNN dekoder i en neural maskin översättare (NMT) med externt minne, som en naturlig men kraftfull förlängning till staten i avkodning RNN. Denna minnesförstärkta RNN-dekoder kallas MEMDEC. Varje gång under avkodningen läser MEMDEC ur detta minne och skriver till detta minne en gång, båda med innehållsbaserad adressering. Till skillnad från det obundna minnet i tidigare arbete för att lagra representationen av källmening, är minnet i MEMDEC en matris med förbestämd storlek utformad för att bättre fånga den information som är viktig för avkodningsprocessen vid varje steg. Vår empiriska studie om kinesisk-engelska översättning visar att den kan förbättras med 4,8 BLEU på Groundhog och 5,3 BLEU på Moses, vilket ger den bästa prestandan som uppnås med samma utbildning.
REF ) introducerade denna typ av externt minne till neural maskinöversättning (NMT), minnet kan ge ett mer flexibelt sätt att utnyttja informationen från käll mening.
Memory-enhanced Decoder for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}