Under de senaste åren har visuell frågesvar (VQA) blivit aktuellt som ett långsiktigt mål att driva datorseende och multidisciplinär AI-forskning. Förutsättningen för VQA:s betydelse är att både bilden och textfrågan måste förstås väl och grundas ömsesidigt för att man ska kunna dra slutsatsen att svaret är korrekt. Men nuvarande VQA modeller kanske "förstå" mindre än man ursprungligen hoppats, och istället behärska den lättare uppgiften att utnyttja signaler som ges bort i frågan och förutfattade meningar i svarsdistributionen (Goyal et al. År 2017).................................................................................................. I detta dokument föreslår vi det omvända problemet med VQA (iVQA) och undersöker dess lämplighet som ett riktmärke för visuolinguistisk förståelse. IVQA uppgiften är att generera en fråga som motsvarar en given bild och svar par. Eftersom svaren är mindre informativa än frågorna, och frågorna har mindre inlärbara fördomar, måste en iVQA-modell bättre förstå bilden för att bli framgångsrik. Vi ställer frågegenerering som en multimodal dynamisk slutledningsprocess och föreslår en iVQA-modell som gradvis kan justera sin fokusering med hjälp av både en delvis genererad fråga och svaret. För utvärdering, förutom befintliga språkliga mått, föreslår vi ett nytt rankningsmått. Denna metriska jämför marksanningsfrågans rang bland en lista över distraktorer, vilket gör det möjligt att studera nackdelarna med olika algoritmer och felkällor. Experimentella resultat visar att vår modell kan generera olika, grammatiskt korrekta och innehåll korrelerade frågor som matchar det givna svaret.
Den iVQA-uppgift som föreslås i REF är däremot mer utmanande eftersom en iVQA-modell kräver exakt förståelse för en given bild och ett bra resonemang för att generera specifika frågor som motsvarar ett bildsvarspar.
iVQA: Inverse Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}