Ett antal nya verk har föreslagit uppmärksamhetsmodeller för visuellt frågesvar (VQA) som genererar rumsliga kartor som belyser bildregioner som är relevanta för att besvara frågan. I detta dokument hävdar vi att det förutom att modellera "där man kan titta" eller visuell uppmärksamhet är lika viktigt att modellera "vilka ord man ska lyssna på" eller ifrågasätta uppmärksamheten. Vi presenterar en ny co-attention modell för VQA som tillsammans resonerar om bild och ifrågasätter uppmärksamhet. Dessutom, vår modell skäl till frågan (och därmed bilden via co-attention mekanism) på ett hierarkiskt sätt via en ny 1-dimensionell konvolution neurala nätverk (CNN) modell. Vår slutliga modell överträffar alla rapporterade metoder och förbättrar den senaste tekniken på VQA-datauppsättningen från 60,4 % till 62,1 %, och från 61,6 % till 65,4 % på COCO-QA-datauppsättningen 1. 1 Källkoden kan laddas ner från https://github.com/jiasenlu/HieCoAttenVQA
Till exempel de senaste verken Ref fokuserar på de co-attention modeller som gemensamt utnyttjar visuell uppmärksamhet och ifrågasätter uppmärksamhet fördelar genom en enhetlig hierarkisk arkitektur.
Hierarchical Question-Image Co-Attention for Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}