Visuell frågeställare (VQA) är utmanande eftersom det kräver en samtidig förståelse av både visuellt innehåll i bilder och textinnehåll i frågor. De metoder som används för att representera bilder och frågor på ett finkornigt sätt och frågor och för att sammansmälta dessa multimodala funktioner spelar viktiga roller i prestanda. Tvålinjära pooling baserade modeller har visat sig överträffa traditionella linjära modeller för VQA, men deras högdimensionella representationer och hög beräknings komplexitet kan allvarligt begränsa deras tillämplighet i praktiken. För multimodal funktionsfusion utvecklar vi här en multimodal Factorized Bilinear (MFB) pooling strategi för att effektivt och effektivt kombinera multimodala funktioner, vilket resulterar i överlägsen prestanda för VQA jämfört med andra bilinear pooling metoder. För finkornig bild- och frågerepresentation utvecklar vi en "medbestämmandemekanism" med hjälp av en end-to-end djupe network-arkitektur för att gemensamt lära sig både bild och frågeuppmärksamhet. Att kombinera den föreslagna MFB-metoden med co-attention learning i en ny nätverksarkitektur ger en enhetlig modell för VQA. Våra experimentella resultat visar att den enda MFB med co-attention modell uppnår nya state-of-theart prestanda på den verkliga VQA-datauppsättningen. Kod tillgänglig på https://github.com/yuzcccc/mfb. 4 ZKDV H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H V " 4 ZKDW FRORU LV WKH FKH FKKHUV SDQV $ EODFN 3 ZKLWH ZKDW FRORU LV WKH FDWFKHUV SDQWV 4 KRZ PDQ\ ELUGV DUH IO\ LQJ $ 3 KRZ PDQ\ ELGH DUH\ LQJ 4 KRZ PDQ \ IO\ LQJ 4 KRZ PDQ \ IODJ VRZQ $ 3 KRZ PDQ Π H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H H R H H H H R H R H R H R H R H R N R R R R K R K R KKH WKH WKH WKH WKH WKH WKH WKH H R N R N N R H H H H H H H H H R L L L L L L L L L L L L L L L N N N N \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ ) L L L L L J J J J J J J L L L L L L J L J L J L J L J L J L L L J N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N
Medan arbetet i REF föreslår en dubbellinjär poolningsmetod baserad på matris factorization för att kombinera multimodala funktioner.
Multi-modal Factorized Bilinear Pooling with Co-attention Learning for Visual Question Answering
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}