Modellering av textinformation eller visuell information med vektorrepresentationer utbildade från stora språk eller visuella datauppsättningar har framgångsrikt utforskats under de senaste åren. Uppgifter som visuellt svar på frågor kräver dock att dessa vektorrepresentationer kombineras med varandra. Metoder för multimodal poolning omfattar elementvis multiplikation eller addition, samt konkatering av visuella och textrelaterade representationer. Vi tror att dessa metoder inte är lika uttrycksfulla som en yttre produkt av de visuella och textvisa vektorerna. Eftersom den yttre produkten vanligtvis är ogenomförbar på grund av sin höga dimension föreslår vi istället att Multimodal Compact Bilinear pooling (MCB) används för att effektivt och uttrycksfullt kombinera multimodala funktioner. Vi utvärderar i stor utsträckning MCB på den visuella frågan svar och jordning uppgifter. Vi visar konsekvent fördelarna med MCB över ablationer utan MCB. För visuell frågesvar, presenterar vi en arkitektur som använder MCB två gånger, en gång för att förutsäga uppmärksamhet över rumsliga funktioner och igen för att kombinera den deltagande representationen med frågan representation. Denna modell överträffar den senaste tekniken på Visual7W-datauppsättningen och VQA-utmaningen.
Det har skett många andra förbättringar av den vanliga metoden för djupinlärning, t.ex. REF utnyttjade Multimodal Compact Bilinear (MCB) pooling för att effektivt och uttrycksfullt kombinera multimodala funktioner.
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}