I detta dokument presenterar vi en multimodal modell för recurrent Neural Network (m-RNN) för att skapa nya bildtexter. Den modellerar direkt sannolikhetsfördelningen för att generera ett ord givet tidigare ord och en bild. Bildtexter skapas enligt denna distribution. Modellen består av två undernätverk: ett djupt återkommande neuralt nätverk för meningar och ett djupt konvolutionsnätverk för bilder. Dessa två undernätverk samverkar med varandra i ett multimodalt skikt för att bilda hela m-RNN-modellen. Effektiviteten hos vår modell är validerad på fyra referensdatauppsättningar (IAPR TC-12, Flickr 8K, Flickr 30K och MS COCO). Vår modell överträffar de senaste metoderna. Dessutom kan m-RNN-modellen tillämpas på hämtningsuppgifter för hämtning av bilder eller meningar och uppnå betydande prestandaförbättringar jämfört med de senaste metoderna som direkt optimerar rankningsobjektets funktion för hämtning. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Mao m.fl. REF, till exempel, föreslog en multimodal RNN (m-RNN) för att uppskatta sannolikhetsfördelningen för nästa ord som ges tidigare ord och den djupa CNN-funktionen i en bild vid varje steg.
Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)
{'venue': 'ICLR 2015', 'journal': None, 'mag_field_of_study': ['Computer Science']}