Ett antal studier har visat att dagens Visual Question Response (VQA) modeller är starkt driven av ytliga korrelationer i träningsdata och saknar tillräcklig bild jordning. För att uppmuntra utvecklingen av modeller inriktade på det senare föreslår vi en ny inställning för VQA där för varje frågetyp, tåg och testuppsättningar har olika tidigare fördelningar av svar. Specifikt presenterar vi nya uppdelningar av datauppsättningarna VQA v1 och VQA v2, som vi kallar Visual Question Answering under Changing Priors (VQA-CP v1 respektive VQA-CP v2). För det första utvärderar vi flera befintliga VQA-modeller under denna nya miljö och visar att deras prestanda försämras betydligt jämfört med den ursprungliga VQA-inställningen. För det andra föreslår vi en ny Grounded Visual Question Answering-modell (GVQA) som innehåller induktiva förutfattade meningar och begränsningar i arkitekturen speciellt utformad för att förhindra att modellen "fuskar" genom att främst förlita sig på tidigare i träningsdata. Särskilt skiljer GVQA uttryckligen igen igenkännandet av visuella begrepp som finns i bilden från identifieringen av rimligt svar utrymme för en given fråga, vilket gör det möjligt för modellen att mer robust generalisera mellan olika distributioner av svar. GVQA är byggd av en befintlig VQA-modell -Stacked Attention Networks (SAN). Våra experiment visar att GVQA betydligt överträffar SAN på både VQA-CP v1 och VQA-CP v2 dataset. Intressant nog överträffar den också kraftfullare VQA-modeller som Multimodal Compact Bilinear Pooling (MCB) i flera fall. GVQA erbjuder styrkor som kompletterar SAN när de tränas och utvärderas på de ursprungliga VQA v1 och VQA v2 dataseten. Slutligen är GVQA mer transparent och tolkningsbar än befintliga VQA-modeller.
Agrawal m.fl. REF noterade också att varje frågetyp har olika tidigare distributioner av svar.
Don't Just Assume; Look and Answer: Overcoming Priors for Visual Question Answering
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}