Vi konstruerar multi-modala koncept representationer genom att concretenating en skip-gram språklig representation vektor med en visuell koncept representation vektor som beräknas med hjälp av de funktioner extraktion lager av en djup convolutional neurala nätverk (CNN) tränas på en stor märkt objektigenkänning dataset. Denna metod för överföringslärande ger en tydlig resultatvinst jämfört med de funktioner som bygger på den traditionella metoden med visualiseringsord. Experimentella resultat rapporteras för utvärdering av WordSim353 och MÄN semantic relatedness. Vi använder visuella funktioner som beräknas med antingen ImageNet eller ESP Game bilder.
I datorseende, Multi-modell koncept representationer från konkatetering av språklig representation vektorer och visuella koncept representation vektorer har en betydande prestandavinst på vissa semantiska relateradhet utvärderingsuppgifter REF.
Learning Image Embeddings using Convolutional Neural Networks for Improved Multi-Modal Semantics
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}