Vi introducerar en ny uppgift, visuell sense disambiguation för verb: givet en bild och ett verb, tilldela den rätta känslan av verbet, dvs. den som beskriver den åtgärd som beskrivs i bilden. På samma sätt som textordets sense disambiguation är användbar för ett brett spektrum av NLP-uppgifter, kan visuell sense disambiguation vara användbar för multimodala uppgifter som bildsökning, bildbeskrivning och textillustration. Vi introducerar VerSe, en ny dataset som utökar befintliga multimodala dataset (COCO och TUHOI) med sense labels. Vi föreslår en oövervakad algoritm baserad på Lesk som utför visuell sense disambiguation med text, bild eller multimodala inbäddningar. Vi finner att textinbäddningar fungerar bra när det finns textanteckningar i guldstandard (objektetiketter och bildbeskrivningar), medan multimodala inbäddningar fungerar bra på oannoterade bilder. Vi verifierar också våra resultat genom att använda text- och multimodala inbäddningar som funktioner i en övervakad miljö och analysera prestandan av visuell sense disambiguation uppgift. VerSe görs allmänt tillgänglig och kan laddas ner på https://github. Kom/spandanagella/verse.
I ett nyare verk studerade REF problemet med resonemang om en bild och ett verb, där de försöker välja den rätta känslan av verbet som beskriver den åtgärd som beskrivs i bilden.
Unsupervised Visual Sense Disambiguation for Verbs using Multimodal Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}