I detta dokument presenterar vi en multimodal modell för recurrent Neural Network (m-RNN) för att skapa nya meningsbeskrivningar för att förklara bildernas innehåll. Den modellerar direkt sannolikhetsfördelningen för att generera ett ord givet tidigare ord och bilden. Bildbeskrivningar genereras genom provtagning från denna distribution. Modellen består av två undernätverk: ett djupt återkommande neuralt nätverk för meningar och ett djupt konvolutionsnätverk för bilder. Dessa två undernätverk samverkar med varandra i ett multimodalt skikt för att bilda hela m-RNN-modellen. Effektiviteten hos vår modell är validerad på tre referensdatauppsättningar Flickr 8K [28] och Flickr 30K [13]). Vår modell överträffar den senaste generativa metoden. Dessutom kan m-RNN-modellen tillämpas på hämtningsuppgifter för hämtning av bilder eller meningar och uppnå betydande prestandaförbättringar jämfört med de senaste metoderna som direkt optimerar rankningsobjektets funktion för hämtning.
I REF föreslogs en multimodal arkitektur för recurrent Neural Network (m-RNN) för att koppla samman textinformation och visuella funktioner som extraherats på hela bilden.
Explain Images with Multimodal Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}