Vi presenterar en modell som genererar naturligt språk de scriptions av bilder och deras regioner. Vår strategi hävarmen åldras datauppsättningar av bilder och deras mening beskrivningar för att lära sig om de intermodala korrespondenser mellan lan guage och visuella data. Vår anpassningsmodell är baserad på en ny kombination av Convolutional Neural Networks över bildregioner, dubbelriktade Recurrent Neural Networks över meningar, och ett strukturerat mål som anpassar de två formerna genom en multimodal inbäddning. Vi beskriver sedan en multimodal Recurrent Neural Network architecture som använder de inferred anpassningarna för att lära sig att generera nya beskrivningar av bildregioner. Vi visar att vår anpassningsmodell producerar toppmoderna resultat i re trieval experiment på Flickr8K, Flickr30K och MSCOCO dataset. Vi visar sedan att de genererade beskrivningar signifikant överträffar hämtning baslinjer på både fullständiga bilder och på en ny datauppsättning av region-nivå annoteringar.
Karpati och Li REF gjorde ett försök att utföra lokala likhetslärande för tvärmodala data genom att använda de härledda anpassningarna för att lära sig att generera nya beskrivningar av bildregioner.
Deep visual-semantic alignments for generating image descriptions
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Medicine']}