Visual Question Answering (VQA) har uppmärksammats av både datorseende och språkbearbetningsgemenskaper. De flesta befintliga metoder antar rörledningen att representera en bild via förtränade CNN, och sedan använda de otolkbara CNN-funktioner i samband med frågan för att förutsäga svaret. Även om sådana end-to-end modeller kan rapportera lovande prestanda, ger de sällan någon inblick, bortsett från svaret, i VQA-processen. I detta arbete föreslår vi att man delar upp end-to-end VQA i två steg: förklarande och resonemang, i ett försök till en mer förklarande VQA genom att kasta ljus över de mellanliggande resultaten mellan dessa två steg. Därför extraherar vi först attribut och skapar beskrivningar som förklaringar till en bild med hjälp av förtränade attributdetektorer respektive bildtextmodeller. Därefter använder en resonemangsmodul dessa förklaringar i stället för bilden för att komma fram till ett svar på frågan. Fördelarna med en sådan uppdelning inkluderar: 1) attributen och bildtexterna kan återspegla vad systemet extraherar från bilden, därmed kan ge några förklaringar till det förutsagda svaret; (2) dessa mellanliggande resultat kan hjälpa oss att identifiera oförmågan hos både bildförståelsen delen och svaret inference delen när det förutsagda svaret är fel. Vi utför omfattande experiment på en populär VQA-datauppsättning och dissekerar alla resultat enligt flera mätningar av förklaringskvaliteten. Vårt system uppnår jämförbar prestanda med hjärtats tillstånd, men med ytterligare fördelar av explanability och den inneboende förmågan att ytterligare förbättras med förklaringar av högre kvalitet.
REF genererar först rubriker och attribut med en fast notator och sedan använda dem för att förutsäga svar.
Tell-and-Answer: Towards Explainable Visual Question Answering using Attributes and Captions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}