Problemet med visuell frågesvar (VQA) är av stor betydelse både som en utmanande forskningsfråga och för den rika uppsättning av tillämpningar som den möjliggör. I detta sammanhang tenderar dock inneboende struktur i vår värld och partiskhet i vårt språk att vara en enklare signal för lärande än visuella metoder, vilket resulterar i VQA-modeller som ignorerar visuell information, vilket leder till en uppblåst känsla av deras förmåga. Vi föreslår att motverka dessa språk priors för uppgiften VQA och göra vision (V i VQA) materia! Specifikt balanserar vi den populära VQA dataset (Antol et al., i: ICCV, 2015) genom att samla kompletterande bilder så att varje fråga i vår balanserade dataset är associerad med inte bara en enda bild, utan snarare ett par liknande bilder som resulterar i två olika svar på frågan. Vårt dataset är genom konstruktion mer balanserat än det ursprungliga VQA datasetet och har ungefär dubbelt så många bildfrågor par. Vårt fullständiga balanserade dataset är offentligt tillgängligt på http://visualqa.org/ som en del av andra iterationen av VQA Dataset och Challenge (VQA v2.0). Vi jämför ytterligare ett antal toppmoderna VQA-modeller med vår balanserade datauppsättning. Alla modeller presterar betydligt sämre på vår balanserade datauppsättning, vilket tyder på att dessa modeller verkligen har lärt sig att utnyttja språkprenumerationer. Detta fynd ger de första konkreta empiriska bevisen för vad som verkar vara en kvalitativ känsla bland utövare. Vi presenterar också intressanta insikter från analys av deltagarnas bidrag i VQA Challenge 2017, organiserade av oss på den föreslagna VQA v2.0 dataset. Resultatet av utmaningen tillkännagavs i den andra VQA Challenge-workshopen vid IEEE Conference on Computer Vision and Mönster Recognition (CVPR) 2017. Slutligen gör vårt datainsamlingsprotokoll för att identifiera kompletterande bilder det möjligt för oss att utveckla en ny tolkningsbar modell, som förutom att ge ett svar på det givna (bild, fråga) paret, också ger en motexempelbaserad förklaring. Specifikt identifierar den en bild som liknar den ursprungliga bilden, men den tror har ett annat svar på samma fråga. Detta kan bidra till att bygga förtroende för maskiner bland sina användare.
REF har ett liknande mål, men istället för att generera syntetiska bilder försöker man identifiera en annan bild som resulterar i ett annat svar.
Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}