Vi föreslår dubbla uppmärksamhetsnätverk som gemensamt utnyttjar visuella och textbaserade uppmärksamhetsmekanismer för att fånga upp finkornigt samspel mellan syn och språk. DAN tar hand om specifika regioner i bilder och ord i text genom flera steg och samlar väsentlig information från båda tillvägagångssätten. Utifrån denna ram introducerar vi två typer av DAN för multimodala resonemang respektive matchning. Den resonerande modellen gör det möjligt för visuell och textmässig uppmärksamhet att styra varandra under samverkande slutsatser, vilket är användbart för uppgifter som Visual Question Answering (VQA). Dessutom utnyttjar den matchande modellen de två uppmärksamhetsmekanismerna för att uppskatta likheten mellan bilder och meningar genom att fokusera på deras gemensamma semantik. Våra omfattande experiment validerar effektiviteten av DANs i att kombinera vision och språk, uppnå den senaste tekniken prestanda på offentliga riktmärken för VQA och bild-text matchning.
Nam och al. I REF infördes nätverk för dubbel uppmärksamhet.
Dual Attention Networks for Multimodal Reasoning and Matching
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}