Även om uppmärksamhet-baserad Neural Machine Översättning har uppnått stor framgång, uppmärksamhet-mekanik kan inte fånga hela innebörden av källmeningen eftersom uppmärksamhetsmekanismen genererar ett målord beroende på de relevanta delarna av källmeningen. Rapporten från tidigare studier har infört en latent variabel för att fånga hela meningens betydelse och uppnå förbättring på uppmärksamhetsbaserad Neural Machine Translation. Vi följer detta tillvägagångssätt och vi tror att den fångande meningen i meningen har nytta av bildinformation eftersom människor förstår innebörden i språket inte bara från textinformation utan också från perceptuell information som den som erhålls från vision. Som beskrivs här föreslår vi en neural maskinöversättningsmodell som introducerar en kontinuerlig latent variabel som innehåller en underliggande semantisk extraherad från texter och bilder. Vår modell, som kan tränas end-to-end, kräver bildinformation endast vid träning. Experiment som genomförs med en engelsk-tysk översättningsuppgift visar att vår modell överträffar grundscenariot.
REF utvidga Variational Neural Machine Översättningsmodell genom att härleda latenta variabler för att explicit modellera semantik av källmeningar från både bild och språklig information.
Neural Machine Translation with Latent Semantic of Image and Text
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}