Abstrakt. Uppmärksamhetsmekanismer i biologisk perception tros välja undergrupper av perceptuell information för mer sofistikerad bearbetning som skulle vara oöverkomlig att utföra på alla sensoriska ingångar. I datorseendet har det dock varit relativt lite utforskande av hård uppmärksamhet, där viss information selektivt ignoreras, trots framgången med mjuk uppmärksamhet, där informationen vägs om och aggregeras, men aldrig filtreras bort. Här introducerar vi en ny strategi för hård uppmärksamhet och finner att den uppnår mycket konkurrenskraftiga prestanda på en nyligen släppt visuell fråga svar datauppsättningar, equalling och i vissa fall överträffar liknande mjuk uppmärksamhet arkitekturer samtidigt helt ignorera vissa funktioner. Även om den hårda uppmärksamhetsmekanismen anses vara icke-differentierad, fann vi att funktionens magnituder korrelerar med semantisk relevans, och ger en användbar signal för vår mekanisms uppmärksammande urvalskriterium. Eftersom hård uppmärksamhet väljer viktiga funktioner i inmatningsinformationen, kan den också vara mer effektiv än analoga mjuka uppmärksamhetsmekanismer. Detta är särskilt viktigt för nya metoder som använder icke-lokala parvisa operationer, där beräknings- och minneskostnader är kvadratiska i storleken på uppsättningen funktioner.
REF använder en icke-lokal mekanism för hård uppmärksamhet på visuella frågor svar datauppsättningar.
Learning Visual Question Answering by Bootstrapping Hard Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}