Vi föreslår en ny uppmärksamhetsbaserad djupinlärningsarkitektur för visuell frågesvarsuppgift (VQA). Med tanke på en bild och en bild-relaterad fråga, VQA returnerar ett naturligt språk svar. Eftersom olika frågor frågar om attributen för olika bildregioner, kräver att man skapar korrekta svar modellen för att få frågestyrd uppmärksamhet, dvs. uppmärksamheten på de regioner som motsvarar inmatningsfrågans intention. Vi introducerar ett uppmärksamhetsbaserat konfigurerbart konvolutionellt neuralt nätverk (ABC-CNN) för att lokalisera den frågestyrda uppmärksamheten baserat på inmatningsfrågor. ABC-CNN bestämmer uppmärksamhetsregionerna genom att hitta motsvarande visuella egenskaper i de visuella funktionskartorna med en "konfigurerbar konvolution" operation. Med hjälp av den frågestyrda uppmärksamheten kan ABC-CNN uppnå både högre VQA-noggrannhet och bättre förståelse för den visuella frågesvarsprocessen. Vi utvärderar ABC-CNN arkitekturen på tre riktmärken VQA dataset: Toronto COCO-QA, DAQUAR och VQA dataset. ABC-CNN-modellen uppnår betydande förbättringar jämfört med de senaste metoderna. Den frågestyrda uppmärksamhet som ABC-CNN ger upphov till visas också vara de regioner som är mycket relevanta för frågornas avsikter.
REF, å andra sidan, använde uppmärksamhet för att vägleda ett CNN att fokusera på relevanta objekt för den visuella frågan svar uppgift.
ABC-CNN: An Attention Based Convolutional Neural Network for Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}