Visuell uppmärksamhet har framgångsrikt tillämpats i strukturella förutsägelser uppgifter såsom visuell bildtextering och frågesvar. Befintliga visuella uppmärksamhetsmodeller är i allmänhet rumsliga, dvs. uppmärksamheten är modellerad som rumslig sannolikhet som omviktar den sista konv-lager funktionen karta över en CNN kodning en ingångsbild. Vi hävdar dock att sådan rumslig uppmärksamhet inte nödvändigtvis överensstämmer med uppmärksamhetsmekanismen - en dynamisk funktionsextraktor som kombinerar kontextuella fixeringar över tiden, eftersom CNN-funktioner är naturligt rumsliga, kanalvisa och multi-lager. I den här artikeln introducerar vi ett nytt konvolutionellt neuralt nätverk dubbat SCA-CNN som införlivar rumslig och kanalvis Uppmärksamhet i ett CNN. I uppgiften att bildtexta modulerar SCA-CNN dynamiskt sammanhanget i flera lagerfunktionskartor, kodning där (dvs. uppmärksamma rumsliga platser på flera lager) och vad (dvs. uppmärksamma kanaler) den visuella uppmärksamheten är. Vi utvärderar den föreslagna SCA-CNN-arkitekturen på tre referensbildsbilder: Flickr8K, Flickr30K och MSCOCO. Det konstateras genomgående att SCA-CNN avsevärt överträffar de senaste metoderna för visuell uppmärksamhetsbaserad bildtextering.
Förutom den rumsliga uppmärksamheten har ytterligare ett nytt arbete, SCA-CNN REF, inarbetat kanalvis uppmärksamhet i ett CNN och uppnått lovande resultat.
SCA-CNN: Spatial and Channel-Wise Attention in Convolutional Networks for Image Captioning
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}