Abstrakt. Vi tar upp problemet med visuellt frågesvar (VQA), som kräver gemensam bild och språkförståelse för att svara på en fråga om ett givet fotografi. De senaste tillvägagångssätten har tillämpat metoder för djup bildtextering baserade på konvolutionella-recurrent nätverk för detta problem, men har misslyckats med att modellera den rumsliga inferensen. För att råda bot på detta föreslår vi en modell som vi kallar det rumsliga minnesnätverket och tillämpar på VQA-uppgiften. Minnesnätverk är återkommande neurala nätverk med en explicit uppmärksamhet mekanism som väljer vissa delar av den information som lagras i minnet. Vårt rumsliga minnesnätverk lagrar neuronaktiveringar från olika rumsliga regioner av bilden i minnet, och använder frågan för att välja relevanta regioner för att beräkna svaret, en process som utgör en enda "hopp" i nätverket. Vi föreslår en ny rumslig uppmärksamhet arkitektur som anpassar ord med bildlappar i det första humlet, och få förbättrade resultat genom att lägga till en andra uppmärksamhet humle som anser att hela frågan att välja visuella bevis baserat på resultaten av det första humlet. För att bättre förstå den slutsats process lärt av nätverket, designar vi syntetiska frågor som specifikt kräver rumslig inferens och visualisera uppmärksamhet vikter. Vi utvärderar vår modell på två publicerade visuella frågor svar dataset, DAQUAR [1] och VQA [2], och få förbättrade resultat jämfört med en stark djup baslinje modell (iBOWIMG) som sammanför bild och frågefunktioner för att förutsäga svaret [3].
På samma sätt lagrar de rumsliga minnesnätverken REF även CNN-funktioner från bildnätsregioner/patcher till minne, och väljer ut vissa delar av informationen med en explicit uppmärksamhetsmekanism för att besvara frågor.
Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}