Visuell uppmärksamhet, som tilldelar bildregioner vikt beroende på deras relevans för en fråga, anses vara en oumbärlig del av de flesta Visuella frågemodeller. Även om frågorna kan omfatta komplicerade förbindelser mellan flera regioner, är det få modeller som effektivt kan koda sådana gränsöverskridande förbindelser. I detta dokument visar vi vikten av att koda sådana relationer genom att visa det begränsade effektiva mottagliga fältet av ResNet på två datauppsättningar, och föreslå att modellera den visuella uppmärksamheten som en multivariat distribution över ett rutnätsstrukturerat villkorligt Random Field på bildregioner. Vi visar hur man konverterar de iterativa inferensalgoritmerna, Mean Field och Loopy Belief Propagation, som återkommande lager av ett end-to-end neuralt nätverk. Vi utvärderade empiriskt vår modell på 3 dataset, där den överträffar den bästa baslinjemodellen för det nyutgivna CLEVR-datasetetet [13] med 9,5 %, och den bäst publicerade modellen på VQA-datasetet [3] med 1,25%. Källkod finns på https: // github.com/ zhuchen03/ vqa-sva.
REF föreslog att den visuella uppmärksamheten skulle modelleras som en multivariatfördelning över ett rutnätsstrukturerat villkorat slumpmässigt fält på bildregioner, vilket innebär att flera regioner kan väljas samtidigt.
Structured Attentions for Visual Question Answering
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}