Vi utökar SKIP-GRAM-modellen av Mikolov et al. (2013a) genom att beakta visuell information. Precis som SKIP-GRAM bygger våra multimodala modeller (MMSKIP-GRAM) vektorbaserade ordrepresentationer genom att lära sig förutsäga språkliga sammanhang i textkorpora. Men för en begränsad uppsättning ord, modellerna utsätts också för visuella representationer av de objekt som de betecknar (utdrag från naturliga bilder), och måste förutsäga språkliga och visuella egenskaper gemensamt. MMSKIP-GRAM-modellerna ger goda resultat på en mängd olika semantiska riktmärken. Dessutom, eftersom de sprider visuell information till alla ord, använder vi dem för att förbättra bildmärkning och hämtning i noll-shot setup, där testkoncepten aldrig ses under modellträning. Slutligen upptäcker MMSKIP-GRAM-modellerna spännande visuella egenskaper hos abstrakta ord, vilket banar väg för realistiska implementationer av förkroppsligade meningsteorier.
REF utökar hoppa-gram-modellen genom att ta hänsyn till visuell information, som kallas multimodalt hoppa-gram.
Combining Language and Vision with a Multimodal Skip-gram Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}