Detta dokument föreslår en ny uppgift, MemexQA: med tanke på en samling foton eller videor från en användare, är målet att automatiskt svara på frågor som hjälper användare att återfå sitt minne om händelser som fångas i samlingen. För att lösa uppgiften presenterar vi 1) datauppsättningen MemexQA, en stor, realistisk multimodal datauppsättning bestående av verkliga personliga foton och crowd-sourced frågor/svar, 2) föreslå MemexNet, en enhetlig, end-to-end trainingable nätverk arkitektur för bild, text och video frågor svar. Experimentella resultat på MemexQA-data visar att MemexNet överträffar starka baslinjer och ger toppmoderna resultat på denna nya och utmanande uppgift. De lovande resultaten på TextQA och VideoQA tyder på MemexNets effektivitet och skalbarhet i olika QA-uppgifter.
I detta syfte experimenterar vi på MemexQA dataset REF.
MemexQA: Visual Memex Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}