Vi föreslår en mening generation strategi som beskriver bilder genom att förutsäga de mest sannolika substantiv, verb, scener och prepositioner som utgör kärnan mening struktur. Ingången är initiala bullriga uppskattningar av objekt och scener som upptäcks i bilden med hjälp av toppmoderna utbildade detektorer. Som förutsägelse åtgärder från stillbilder direkt är opålitliga, använder vi en språkmodell tränas från den engelska Gigaword corpus för att få sina uppskattningar; tillsammans med sannolikheter för samlokaliserade substantiv, scener och prepositioner. Vi använder dessa uppskattningar som parametrar på en HMM som modellerar meningsgenereringsprocessen, med dolda noder som meningskomponenter och bilddetektering som utsläpp. Experimentella resultat visar att vår strategi att kombinera vision och språk ger läsbara och beskrivande meningar jämfört med naiva strategier som använder enbart vision.
Yang m.fl. REF presenterade ett ramverk för att konvertera statiska bilder till textbeskrivningar genom att förutsäga substantiv, verb och prepositioner som utgjorde kärnan i meningsstrukturen.
Corpus-Guided Sentence Generation of Natural Images
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}