Inspirerade av de senaste framstegen inom multimodalt lärande och maskinöversättning, introducerar vi en kodare-dekoder pipeline som lär sig (a): en multimodal gemensam inbäddning utrymme med bilder och text och (b): en ny språkmodell för avkodning distribuerade representationer från vårt utrymme. Vår pipeline förenar effektivt gemensamma bild-text inbäddande modeller med multimodala neurala språkmodeller. Vi introducerar den struktur-innehåll neural språkmodell som löses upp strukturen av en mening till dess innehåll, beroende på representationer som produceras av kodaren. Enkodaren gör det möjligt att rangordna bilder och meningar medan dekodern kan generera nya beskrivningar från grunden. Genom att använda LSTM för att koda meningar matchar vi den senaste prestandan på Flickr8K och Flickr30K utan att använda objektdetekteringer. Vi sätter också nya bästa resultat när vi använder 19-lager Oxford convolutional nätverk. Dessutom visar vi att med linjära kodare fångar det inlärda utrymmet multimodala regulariteter i termer av vektorutrymmesaritmetik, t.ex. *bild av en blå bil* -"blå" + "röd" är nära bilder av röda bilar. Provtexter som genereras för 800 bilder görs tillgängliga för jämförelse.
I sin uppföljning av arbetet REF, Kiro et al. införde en kodare-dekoder pipeline där meningen kodades av LSTM och avkodades med struktur-innehåll neural språkmodell (SC-NLM).
Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}