Det pågående arbetet med multimodal maskinöversättning (MMT) har visat att den visuella modaliteten antingen är onödig eller endast marginellt fördelaktig. Vi anser att detta är en följd av de mycket enkla, korta och repetitiva meningar som används i den enda tillgängliga datauppsättningen för uppgiften (Multi30K), vilket gör källtexten tillräcklig som sammanhang. I det allmänna fallet anser vi dock att det är möjligt att kombinera visuell och textmässig information för att mala översättningar. I detta dokument undersöker vi den visuella modalitetens bidrag till toppmoderna MMT-modeller genom att genomföra en systematisk analys där vi delvis berövar modellerna källsidans textkontext. Våra resultat visar att modeller under begränsat textsammanhang kan utnyttja den visuella indatan för att generera bättre översättningar. Detta motsäger den nuvarande uppfattningen att MMT-modeller bortser från den visuella modaliteten på grund av antingen kvaliteten på bildegenskaperna eller hur de integreras i modellen.
Det senaste arbetet i Multimodal Machine Translation REF tyder på att den visuella modaliteten är särskilt användbar under förhållanden där källsignalen är skadad och därmed otillräcklig för att slutföra uppgiften.
Probing the Need for Visual Context in Multimodal Machine Translation
{'venue': 'Proceedings of the 2019 Conference of the North', 'journal': 'Proceedings of the 2019 Conference of the North', 'mag_field_of_study': ['Computer Science']}