Vi presenterar en metod som lär sig att svara på visuella frågor genom att välja bildregioner som är relevanta för den textbaserade frågan. Vår metod kartlägger textfrågor och visuella egenskaper från olika regioner till ett delat utrymme där de jämförs för relevans med en inre produkt. Vår metod uppvisar betydande förbättringar i att svara på frågor som "vilken färg", där det är nödvändigt att utvärdera en viss plats, och "vilket rum", där det selektivt identifierar informativa bild regioner. Vår modell är testad på den nyligen släppta VQA [1] datasetet, som har fri form människoannoterade frågor och svar.
I REF skapar författarna bildregioner med objektförslag och väljer sedan de regioner som är relevanta för frågan och svarar på valet.
Where to Look: Focus Regions for Visual Question Answering
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}