Visuell fråga Svar (VQA) kräver en finkornig och samtidig förståelse av både visuellt innehåll i bilder och textinnehåll i frågor. Därför är det av central betydelse för VQA:s prestanda att utforma en effektiv "medbestämmandemodell" för att associera nyckelord i frågor med viktiga objekt i bilder. Hittills har de flesta lyckade försöken till co-attention lärande uppnåtts med hjälp av grunda modeller, och djupa co-attention modeller visar liten förbättring jämfört med sina ytliga motsvarigheter. I detta dokument föreslår vi en djup Modular Co-Attention Network (MCAN) som består av Modular Co-Atention (MCA) lager kaskad på djupet. Varje MCA-lager modellerar självuppmärksamheten av frågor och bilder, liksom frågeguiden-attention av bilder gemensamt med hjälp av en modulär sammansättning av två grundläggande uppmärksamhetsenheter. Vi utvärderar kvantitativt och kvalitativt MCAN på referensdatasetet VQA-v2 och genomför omfattande ablationsstudier för att undersöka orsakerna till MCAN:s effektivitet. Experimentella resultat visar att MCAN avsevärt överträffar den tidigare toppmoderna tekniken. Vår bästa enda modell levererar 70.63% total noggrannhet på test-dev-setet.
REF ) tillämpar ett djupt modulärt nätverk för medbestämmande i kombination med självuppmärksamhet och guidad uppmärksamhet.
Deep Modular Co-Attention Networks for Visual Question Answering
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}