Problem i skärningspunkten mellan syn och språk är av stor betydelse både som utmanande forskningsfrågor och för den rika uppsättning av tillämpningar som de möjliggör. Men, inneboende struktur i vår värld och förutfattade meningar i vårt språk tenderar att vara en enklare signal för lärande än visuella metoder, vilket resulterar i modeller som ignorerar visuell information, vilket leder till en uppblåst känsla av deras förmåga. Vi föreslår att motverka dessa språk priors för uppgiften Visual Question Answering (VQA) och göra vision (V i VQA) materia! Vi balanserar den populära VQA-datauppsättningen [3] genom att samla in kompletterande bilder så att varje fråga i vårt balanserade dataset inte bara förknippas med en enda bild, utan snarare med ett par liknande bilder som resulterar i två olika svar på frågan. Vårt dataset är genom konstruktion mer balanserat än det ursprungliga VQA datasetet och har ungefär dubbelt så många bildfrågor par. Vårt kompletta balanserade dataset finns tillgängligt för allmänheten på http://visualqa.org/ som en del av den andra iterationen av Visual Question Besvaring Dataset och Challenge (VQA v2.0). Vi jämför ytterligare ett antal toppmoderna VQA-modeller med vår balanserade datauppsättning. Alla modeller presterar betydligt sämre på vår balanserade datauppsättning, vilket tyder på att dessa modeller verkligen har lärt sig att utnyttja språkprenumerationer. Detta fynd ger de första konkreta empiriska bevisen för vad som verkar vara en kvalitativ känsla bland utövare. Slutligen gör vårt datainsamlingsprotokoll för att identifiera kompletterande bilder det möjligt för oss att utveckla en ny tolkningsbar modell, som förutom att ge ett svar på det givna (bild, fråga) paret, också ger en kontraexempelbaserad förklaring. Specifikt identifierar den en bild som liknar den ursprungliga bilden, men den tror har ett annat svar på samma fråga. Detta kan bidra till att bygga förtroende för maskiner bland sina användare.
VQA v2 introducerade kompletterande exempel med olika svar på varje fråga REF.
Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}