Syftet med detta arbete är att ta itu med problemet med bildbaserade svar på frågor (QA) med nya modeller och dataset. I vårt arbete föreslår vi att använda neurala nätverk och visuella semantiska inbäddningar, utan mellanliggande stadier som objektdetektering och bildsegmentering, för att förutsäga svar på enkla frågor om bilder. Vår modell presterar 1,8 gånger bättre än de enda publicerade resultaten på en befintlig bild QA dataset. Vi presenterar också en frågegenereringsalgoritm som omvandlar bildbeskrivningar, som är allmänt tillgängliga, till QA-form. Vi använde denna algoritm för att producera en order-of-magnitude större dataset, med mer jämnt fördelade svar. En svit baslinjeresultat för denna nya datauppsättning presenteras också. Ingångarna i problemet är en bild och en fråga, och utmatningen är ett svar. I detta arbete utgår vi ifrån att svaren endast består av ett enda ord, vilket gör att vi kan behandla problemet som ett klassificeringsproblem. Detta gör också utvärderingen av modellerna enklare och mer robust, så att man undviker de besvärliga utvärderingsproblem som plågar flerordsgenerationsproblem.
Senare arbeten REF [2] tog dock upp problemet som ett klassificeringsproblem med kodade inbäddningar.
Exploring Models and Data for Image Question Answering
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}