Nyligen har ett antal djupt lärande baserade modeller föreslagits för uppgiften Visual Question Answering (VQA). De flesta modellers prestanda är ca 60-70%. I denna uppsats föreslår vi systematiska metoder för att analysera beteendet hos dessa modeller som ett första steg mot att erkänna deras styrkor och svagheter, och identifiera de mest fruktbara riktningar för framsteg. Vi analyserar de bäst presterande modellerna från två stora klasser av VQA-modeller - med uppmärksamhet och utan uppmärksamhet och visar likheter och skillnader i beteendet hos dessa modeller. Vår beteendeanalys visar att trots den senaste tidens framsteg är dagens VQA-modeller "myopiska" (för att misslyckas med tillräckligt nya fall), ofta "hoppa till slutsatser" (konvergera på ett förutsagt svar efter "lyssna" till bara hälften av frågan), och är "stubborn" (ändra inte deras svar över bilder).
Förutom dessa modeller har vissa insatser gjorts för att bättre förstå beteendet hos befintliga VQA-modeller REF.
Analyzing the Behavior of Visual Question Answering Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}