Visual Question Answering (VQA) har rönt stor uppmärksamhet i både datorseende och behandling av naturligt språk, inte minst för att det ger insikt i förhållandet mellan två viktiga informationskällor. Aktuella dataset, och de modeller som bygger på dem, har fokuserat på frågor som är svarbara genom direkt analys av frågan och bilden ensam. Den uppsättning sådana frågor som kräver ingen extern information att besvara är intressant, men mycket begränsad. Det utesluter frågor som kräver sunt förnuft, eller grundläggande faktakunskap att besvara, till exempel. Här introducerar vi FVQA (Fact-based VQA), en VQA-datauppsättning som kräver, och stödjer, mycket djupare resonemang. FVQA innehåller främst frågor som kräver extern information att besvara. Vi utökar därmed en konventionell visuell fråga som svarar på dataset, som innehåller bild-fråge-svar-trillingar, genom ytterligare bild-fråge-svar-stödjande fakta tuples. Varje stödfaktum representeras som en strukturell trilling, såsom <Cat,CapableOf,ClimbingTrees>. Vi utvärderar flera grundmodeller på FVQA-datasetet, och beskriver en ny modell som kan resonera om en bild utifrån stödjande fakta. Index Terms-visuell fråga svar, kunskapsbas, återkommande neurala nätverk Ç 0162-8828 ß
FVQA REF tillhandahåller en VQA-datauppsättning tillsammans med en kunskapsbas.
FVQA: Fact-Based Visual Question Answering
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}