Vi introducerar multimodal, uppmärksamhetsbaserad neural maskinöversättning (NMT) modeller som införlivar visuella funktioner i olika delar av både kodaren och dekoder. Vi använder globala bildfunktioner som extraheras med hjälp av ett förtränat konvolutionellt neuralt nätverk och införliva dem (i) som ord i källmeningen, (ii) för att initiera encoder dolda tillstånd, och (iii) som ytterligare data för att initiera decoder dolda tillstånd. I våra experiment utvärderar vi hur dessa olika strategier för att införliva globala bildfunktioner jämför och vilka som presterar bäst. Vi studerar också effekterna av att lägga till syntetiska multimodala, flerspråkiga data ger och finner att de kompletterande uppgifterna har en positiv inverkan på multimodala modeller. Vi rapporterar nya state-of-the-art resultat och våra bästa modeller också avsevärt förbättra på en jämförbar frasbaserad Statistical MT (PBSMT) modell utbildad på Multi30k data set enligt alla utvärderade mätvärden. Såvitt vi vet är det första gången en rent neural modell avsevärt förbättrar över en PBSMT-modell på alla mätvärden som utvärderas på denna datauppsättning.
REF använder globala bildfunktioner extraherade med hjälp av ett förtränat konvolutionellt neuralt nätverk och införliva dem i NMT.
Incorporating Global Visual Features into Attention-Based Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}