Tidigare arbete med multimodal maskinöversättning har visat att visuell information endast behövs i mycket specifika fall, till exempel i närvaro av tvetydiga ord där det textmässiga sammanhanget inte är tillräckligt. Som en följd av detta tenderar modeller att lära sig att ignorera denna information. Vi föreslår en trans-och-raffinaderi strategi för detta problem där bilder bara används av en andra steg dekoder. Detta tillvägagångssätt tränas gemensamt för att skapa ett bra första utkast till översättning och för att förbättra över detta utkast genom att i) bättre utnyttja det målspråkliga textsammanhanget (både till vänster och till höger) och ii) använda det visuella sammanhanget. Detta tillvägagångssätt leder till de senaste resultaten. Dessutom visar vi att den har förmågan att återhämta sig från felaktiga eller saknade ord på källspråket.
I REF föreslås ett effektivt översättnings- och raffinaderiramverk, där visuella funktioner endast används av en andra etapps dekoder.
Distilling Translations with Visual Awareness
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}