Vi presenterar en metod som lär sig att svara på visuella frågor genom att välja bildregioner som är relevanta för den textbaserade frågan. Vår metod kartlägger textfrågor och visuella egenskaper från olika regioner till ett delat utrymme där de jämförs för relevans med en inre produkt. Vår metod uppvisar betydande förbättringar i att svara på frågor som "vilken färg", där det är nödvändigt att utvärdera en viss plats, och "vilket rum", där det selektivt identifierar informativa bild regioner. Vår modell är testad på den nyligen släppta VQA [1] datasetet, som har fri form människoannoterade frågor och svar.
Shih och Al. införa en visuell uppmärksamhetsmekanism för att belysa de bildregioner som är relevanta för att besvara frågan REF.
Where to Look: Focus Regions for Visual Question Answering
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}