Vi föreslår uppgiften fri-form och open-end Visual Question Answering (VQA). Med tanke på en bild och ett naturligt språk fråga om bilden, är uppgiften att ge ett korrekt naturligt språk svar. Speglar verkliga scenarier, som att hjälpa synskadade, är både frågor och svar öppna. Visuella frågor riktar sig selektivt till olika områden av en bild, inklusive bakgrundsuppgifter och underliggande sammanhang. Som ett resultat, ett system som lyckas på VQA behöver vanligtvis en mer detaljerad förståelse av bilden och komplexa resonemang än ett system som producerar generiska bildtexter. Dessutom kan VQA kommuniceras med automatisk utvärdering, eftersom många öppna svar bara innehåller några få ord eller en sluten uppsättning svar som kan ges i ett flervalsformat. Vi tillhandahåller en datauppsättning som innehåller 0.25 M-bilder, 0.76 M-frågor och 10 M-svar (www.visualqa.org), och diskuterar den information den ger. Många baslinjer och metoder för VQA tillhandahålls och jämförs med mänsklig prestanda. Vår VQA demo finns tillgänglig på CloudCV (http://cloudcv.org/ vqa).
Vi arbetar med den fria formen och öppna VQA dataset släppt av REF.
VQA: Visual Question Answering
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}