Uppmärksamhet nätverk i multimodalt lärande ger ett effektivt sätt att utnyttja given visuell information selektivt. Beräkningskostnaderna för att lära sig uppmärksamma distributioner för varje par multimodala inmatningskanaler är emellertid oöverkomligt dyra. För att lösa detta problem bygger meditationen på två separata fördelningar av uppmärksamhet för varje modalitet som försummar samspelet mellan multimodala inflöden. I detta dokument föreslår vi bilinear uppmärksamhet nätverk (BAN) som hittar bilinear uppmärksamhet distributioner för att utnyttja given vision-språk information sömlöst. BAN överväger bilinjära interaktioner mellan två grupper av ingångskanaler, medan låggradig bilinjär poolning extraherar de gemensamma representationerna för varje par av kanaler. Dessutom föreslår vi en variant av multimodala kvarvarande nät för att på ett effektivt sätt utnyttja åttavarselkartor över BAN. Vi utvärderar kvantitativt och kvalitativt vår modell för visuellt svar på frågor (VQA 2.0) och Flickr30k-enheters datauppsättningar, vilket visar att BAN avsevärt överträffar tidigare metoder och uppnår nya state-of-the-arts på båda datauppsättningarna.
REF använde en bilinjär uppmärksamhet mellan två grupper av ingångskanaler ovanpå låggradig bilinjär pooling som extraherade de gemensamma representationerna för varje par av kanaler.
Bilinear Attention Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}