Bilinear modeller ger rika representationer jämfört med linjära modeller. De har tillämpats i olika visuella uppgifter, såsom objektigenkänning, segmentering och visuella svar på frågor, för att få toppmoderna föreställningar att dra nytta av de utvidgade representationerna. Tvålinjära representationer tenderar dock att vara högdimensionella, vilket begränsar tillämpligheten på beräkningskomplicerade uppgifter. Vi föreslår dubbellinjär poolning med Hadamard-produkt med låg rankning för en effektiv uppmärksamhetsmekanism för multimodalt lärande. Vi visar att vår modell överträffar kompakt dubbellinjär poolning i visuella frågor-svar uppgifter med de senaste resultaten på VQA-datauppsättningen, har en bättre parsimonisk egenskap.
hävdade att tvålinjära modeller som MCB, även om de ger rik representation, tenderar att vara högdimensionella och begränsa tillämpligheten på beräknings komplexa uppgifter REF.
Hadamard Product for Low-rank Bilinear Pooling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}