Vi strävar efter att modellera den top-down uppmärksamhet av en convolutional neural network (CNN) klassificera för att generera uppgiftsspecifika uppmärksamhetskartor. Inspirerad av en uppifrån-och-ner mänsklig visuell uppmärksamhet modell, föreslår vi en ny backpropagationsschema, kallad Excitation Backprop, att passera längs top-down signaler nedåt i nätverket hierarkin via en probabilistisk Winner-Take-All process. Dessutom introducerar vi konceptet med kontrasterande uppmärksamhet för att göra top-down-kartorna mer diskriminerande. Vi visar ett teoretiskt samband mellan den föreslagna kontrasterande uppmärksamhetsformuleringen och beräkningen av klassaktivitetskartan. Effektiv implementering av Spänning Backprop för gemensamma neurala nätverkslager presenteras också. I experiment visualiserar vi bevisen för en modells klassificeringsbeslut genom att beräkna de föreslagna top-down uppmärksamhetskartorna. För kvantitativ utvärdering rapporterar vi exaktheten av vår metod i svagt övervakade lokaliseringsuppgifter på MS COCO, PASCAL VOC07 och ImageNet dataset. Nyttan av vår metod är ytterligare validerad i text-till-region förening uppgift. På Flickr30k-enheters dataset uppnår vi lovande prestanda i fraslokalisering genom att utnyttja den top-down uppmärksamheten hos en CNN-modell som har utbildats på svagt märkta webbbilder. Slutligen demonstrerar vi tillämpningar av vår metod i modelltolkning och dataanmärkningshjälp för ansiktsuttrycksanalys och medicinska avbildningsuppgifter.
Zhang m.fl. REF introducerar en probabilistisk strategi för vinnare-take-all för att beräkna neuronernas top-down-vikt mot modellprognoser.
Top-Down Neural Attention by Excitation Backprop
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}