I detta dokument presenteras ett nytt tillvägagångssätt för att automatiskt generera bildbeskrivningar: visuella detektorer, språkmodeller och multimodala likhetsmodeller som man lärt sig direkt från en datauppsättning bildtexter. Vi använder flera instans lära sig att träna visuella detektorer för ord som ofta förekommer i bildtexter, inklusive många olika delar av tal såsom substantiv, verb och adjektiv. Ordet detektorutgångar fungerar som villkorliga ingångar till en maximal-entropisk språkmodell. Språkmodellen lär sig av en uppsättning på över 400.000 bildbeskrivningar för att fånga statistiken över ordanvändning. Vi fångar globala semantik genom att omvärdera bildtextkandidater med hjälp av funktioner på straffnivå och en djup multimodal likhetsmodell. Vårt system är toppmodernt på det officiella Microsoft COCO-riktmärket, vilket ger en BLEU-4-poäng på 29,1 %. När mänskliga domare jämför systemtexterna med dem som skrivits av andra människor på vår testuppsättning, har systemtexterna lika eller bättre kvalitet 34% av tiden.
REF ) använde en språkmodell för att kombinera en uppsättning möjliga ord som upptäckts i flera regioner av bilden och generera bildbeskrivning.
From captions to visual concepts and back
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}