Vi har sett stora framsteg när det gäller grundläggande perceptuella uppgifter som igenkänning och upptäckt av föremål. Men AI modeller fortfarande misslyckas med att matcha människor i hög nivå vision uppgifter på grund av bristen på kapacitet för djupare resonemang. Nyligen har den nya uppgiften att svara på visuella frågor föreslagits för att utvärdera en modells förmåga till djup bildförståelse. Tidigare verk har etablerat en lös, global koppling mellan QA meningar och bilder. Många frågor och svar gäller dock i praktiken lokala regioner i bilderna. Vi etablerar en semantisk länk mellan textbeskrivningar och bildregioner genom objektnivå jordning. Det möjliggör en ny typ av QA med visuella svar, förutom textbaserade svar som används i tidigare arbete. Vi studerar de visuella QA-uppgifterna i en jordad miljö med en stor samling av 7W flervals QA-par. Dessutom utvärderar vi mänskliga prestationer och flera grundmodeller på QA-uppgifterna. Slutligen föreslår vi en ny LSTM-modell med rumslig uppmärksamhet för att ta itu med 7W QA-uppgifter.
Visual7w REF är ett dataset med målet att tillhandahålla semantiska länkar mellan textbeskrivningar och bildregioner genom grundläggning på objektnivå.
Visual7W: Grounded Question Answering in Images
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}