Vision och språkförståelse har framträtt som ett ämne som genomgår en intensiv studie inom artificiell intelligens. Bland många uppgifter inom detta forskningsområde har svar på visuella frågor (VQA) varit en av de mest framgångsrika, där målet är att lära sig en modell som förstår visuellt innehåll på regionnivå detaljer och finner sina associationer med par av frågor och svar i den naturliga språkformen. Trots de snabba framstegen under de senaste åren har det mesta befintliga arbetet inom VQA främst fokuserat på bilder. I den här artikeln fokuserar vi på att utöka VQA till videodomänen och bidra till litteraturen på tre viktiga sätt. För det första föreslår vi tre nya uppgifter som utformats speciellt för video VQA, som kräver spatio-temporala resonemang från videor för att svara på frågor korrekt. Därefter introducerar vi ett nytt storskaligt dataset för video VQA som heter TGIF-QA som utökar det befintliga VQA-arbetet med våra nya uppgifter. Slutligen föreslår vi en dubbel-LSTM-baserad strategi med både rumslig och tidsmässig uppmärksamhet, och visar dess effektivitet över konventionella VQA-tekniker genom empiriska utvärderingar.
REF föreslår den dubbel-LSTM-baserade metoden för att utföra spatiotemporala resonemang från videor för att svara på frågor.
TGIF-QA: Toward Spatio-Temporal Reasoning in Visual Question Answering
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}