Ett semantiskt kompositionsnätverk (SCN) är utvecklat för bildtextering, där semantiska begrepp (dvs taggar) detekteras från bilden, och sannolikheten för varje tagg används för att komponera parametrarna i ett nätverk för långtidsminne (LSTM). SCN utökar varje viktmatris av LSTM till en ensemble av taggberoende viktmatriser. Den grad i vilken varje medlem av ensemblen används för att generera en bildtext är knuten till den bildberoende sannolikheten för motsvarande tagg. Förutom bildtexter utökar vi även SCN för att skapa bildtexter för videoklipp. Vi analyserar kvalitativt semantisk sammansättning i SCNs, och kvantitativt utvärdera algoritmen på tre referensdatauppsättningar: COCO, Flickr30k, och Youtube2Text. Experimentella resultat visar att den föreslagna metoden avsevärt överträffar tidigare state-of-the-art metoder, över flera utvärderingsmått.
Gan och Al. I REF föreslås de semantiska kompositionsnätverken (SCN) som fungerar som en ensemble av konceptberoende språkdekoder.
Semantic Compositional Networks for Visual Captioning
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}