Visuell frågesvar (VQA) och visuell frågegenerering (VQG) är två trender i datorseendet, men de utforskas vanligtvis separat trots deras inneboende kompletterande relation. I detta dokument föreslår vi en end-to-end enhetlig modell, Invertible Question Answering Network (iQAN), för att införa frågegenerering som en dubbel uppgift att besvara frågor för att förbättra VQA-prestandan. Med vår föreslagna inverterbara bilinjära fusionsmodul och parameterdelningssystem kan vår iQAN åstadkomma VQA och dess dubbla uppgift VQG samtidigt. Genom att tillsammans träna på två uppgifter med våra föreslagna dubbla regularizers (benämns Dual Training) har vår modell en bättre förståelse för samspelet mellan bilder, frågor och svar. Efter utbildningen kan iQAN ta antingen fråga eller svara som input, och mata ut motsvarigheten. Utvärderad på CLEVR- och VQA2-datauppsättningarna, förbättrar vår iQAN den högsta-1 noggrannheten i den tidigare konsten MUTAN VQA-metoden med 1,33% och 0,88% (absolut ökning) respektfullt. Vi visar också att vårt föreslagna ramverk för varvad utbildning konsekvent kan förbättra modellens prestanda för många populära VQA-arkitekturer. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF visade att gemensam utbildning om VQA och VQG (visuell frågegenerering) bidrar till att förbättra VQA-noggrannheten och även förståelse för interaktioner mellan bilder, frågor och svar.
Visual Question Generation as Dual Task of Visual Question Answering
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}