Vi presenterar en modell som genererar naturligt språk de scriptions av bilder och deras regioner. Vår strategi hävarmen åldras datauppsättningar av bilder och deras mening beskrivningar för att lära sig om de intermodala korrespondenser mellan lan guage och visuella data. Vår anpassningsmodell är baserad på en ny kombination av Convolutional Neural Networks över bildregioner, dubbelriktade Recurrent Neural Networks över meningar, och ett strukturerat mål som anpassar de två formerna genom en multimodal inbäddning. Vi beskriver sedan en multimodal Recurrent Neural Network architecture som använder de inferred anpassningarna för att lära sig att generera nya beskrivningar av bildregioner. Vi visar att vår anpassningsmodell producerar toppmoderna resultat i re trieval experiment på Flickr8K, Flickr30K och MSCOCO dataset. Vi visar sedan att de genererade beskrivningar signifikant överträffar hämtning baslinjer på både fullständiga bilder och på en ny datauppsättning av region-nivå annoteringar.
Karpati och Fei-Fei REF använder anpassningar gjorda mellan CNN över bildregioner och BiRNN över meningar genom multimodal inbäddning till slutbeskrivningar av bildregioner.
Deep visual-semantic alignments for generating image descriptions
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Medicine']}