Vi introducerar GQA, en ny dataset för verkliga visuella resonemang och kompositionsfråga svar, försöker ta itu med viktiga brister i tidigare VQA dataset. Vi har utvecklat en stark och robust frågemotor som utnyttjar scengrafstrukturer för att skapa 22M olika resonemangsfrågor, alla kommer med funktionella program som representerar deras semantik. Vi använder programmen för att få strikt kontroll över svaret distribution och presentera en ny tonfiskble utjämningsteknik för att minska språkfördomar. Kompletterande datasetet är en svit av nya mätvärden som utvärderar väsentliga egenskaper som konsistens, jordning och rimlighet. En omfattande analys görs för såväl utgångsvärden som toppmoderna modeller, vilket ger finkorniga resultat för olika frågetyper och topologier. Medan en blind LSTM endast får 42,1%, och starka VQA-modeller uppnår 54,1%, mänskliga prestanda toppar på 89,3%, vilket ger gott om möjligheter för ny forskning att utforska. Vi hoppas starkt att GQA kommer att tillhandahålla en möjliggörande resurs för nästa generations modeller med ökad robusthet, förbättrad konsekvens och djupare semantisk förståelse för bilder och språk.
Nyligen föreslog Hudson och Manning REF en ny datauppsättning GQA för VQA, som ger scengrafanteckningar för verkliga bilder.
GQA: a new dataset for compositional question answering over real-world images
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}