Att förstå språket går hand i hand med förmågan att integrera komplex kontextuell information som erhålls via perception. I detta arbete presenterar vi en ny uppgift för grundad språkförståelse: att disambiguera en mening som ges en visuell scen som skildrar en av de möjliga tolkningarna av den meningen. I detta syfte inför vi en ny multimodal corpus med tvetydiga meningar, som representerar ett brett spektrum av syntaktiska, semantiska och diskusuella tvetydigheter, tillsammans med videor som visualiserar de olika tolkningarna för varje mening. Vi tar itu med denna uppgift genom att utöka en visionsmodell som avgör om en mening avbildas av en video. Vi visar hur en sådan modell kan anpassas för att känna igen olika tolkningar av samma underliggande mening, vilket gör det möjligt att reda ut meningar på ett enhetligt sätt över de olika tvetydighetstyperna.
I REF löses språkliga tvetydigheter i meningar i kombination med videor som representerar olika tolkningar av meningarna.
Do You See What I Mean? Visual Resolution of Linguistic Ambiguities
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}