Nyligen har uppgiften Visual Question Answering (VQA) fått ökad uppmärksamhet inom artificiell intelligens. Befintliga VQA-metoder använder huvudsakligen den visuella uppmärksamhetsmekanismen för att associera inmatningsfrågan med motsvarande bildregioner för ett effektivt svar på frågor. Den friformsregionen och de detektionsbaserade visuella uppmärksamhetsmekanismerna undersöks för det mesta, med de tidigare som deltar i fri form bildregioner och de senare som deltar i förspecificerade detekterings-box regioner. Vi hävdar att de två uppmärksamhetsmekanismerna kan ge kompletterande information och att de effektivt bör integreras för att bättre lösa problemet med VQA. I detta dokument föreslår vi ett nytt djupt neuralt nätverk för VQA som integrerar båda uppmärksamhetsmekanismerna. Vårt föreslagna ramverk säkrar effektivt funktioner från fri-form bildregioner, detektionslådor och fråge representationer via en multi-modal multiplikativ funktion inbäddning system för att gemensamt delta i frågerelaterade fri-form bild regioner och detektionslådor för mer exakt frågesvar. Den föreslagna metoden utvärderas i stor utsträckning med hjälp av två allmänt tillgängliga datauppsättningar, COCO-QA och VQA, och överträffar de senaste metoderna. Källkod finns på https://github. Kom/lupantech/dual-mfa-vqa.
På samma sätt använder Lu et al Ref en mekanism för medbestämmande för att samtidigt lära sig friforms- och detekteringsbaserade bildregioner i samband med inmatningsfrågan.
Co-attending Free-form Regions and Detections with Multi-modal Multiplicative Feature Embedding for Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}