Ett antal nya verk har föreslagit uppmärksamhetsmodeller för visuellt frågesvar (VQA) som genererar rumsliga kartor som belyser bildregioner som är relevanta för att besvara frågan. I detta dokument hävdar vi att det förutom att modellera "där man kan titta" eller visuell uppmärksamhet är lika viktigt att modellera "vilka ord man ska lyssna på" eller ifrågasätta uppmärksamheten. Vi presenterar en ny co-attention modell för VQA som tillsammans resonerar om bild och ifrågasätter uppmärksamhet. Dessutom, vår modell skäl till frågan (och därmed bilden via co-attention mekanism) på ett hierarkiskt sätt via en ny 1-dimensionell konvolution neurala nätverk (CNN) modell. Vår slutliga modell överträffar alla rapporterade metoder och förbättrar den senaste tekniken på VQA-datauppsättningen från 60,4 % till 62,1 %, och från 61,6 % till 65,4 % på COCO-QA-datauppsättningen 1.
I REF föreslogs nyligen en modell som extraherar flera samuppfattningar om bilden och frågan och kombinerar samuppfattningarna på ett hierarkiskt sätt med hjälp av alla elementvisa summor, konkatering och helt sammankopplade skikt.
Hierarchical Co-Attention for Visual Question Answering
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}