Neural bild/video bildmodeller kan generera exakta beskrivningar, men deras interna process att kartlägga regioner till ord är en svart låda och därför svårt att förklara. Top-down neurala salthaltsmetoder kan hitta viktiga regioner med tanke på en hög nivå semantisk uppgift som objektklassificering, men kan inte använda en naturlig språk mening som top-down input för uppgiften. I detta dokument föreslår vi Caption-Guided Visual Saliency för att exponera regionen för ordkartläggning i moderna encoder-dekoder nätverk och visa att det lärs implicit från bildtext träningsdata, utan några pixel-nivå annoteringar. Vårt tillvägagångssätt kan producera rumsliga eller spatiotemporala värmekartor för både förutsagda bildtexter, och för godtyckliga fråge meningar. Det återvinner styrka utan overhead att införa explicita uppmärksamhet lager, och kan användas för att analysera en mängd olika befintliga modellarkitekturer och förbättra sin design. Utvärdering av storskaliga video- och bilddataset visar att vår strategi uppnår jämförbar bildåtergivningsprestanda med befintliga metoder samtidigt som den ger mer exakta värmekartor. Vår kod finns på visionlearninggroup.github.io/caption-guided-saliens/.
I REF lärde man sig region-till-ord-kartläggning i en neural Saliency-modell genom att använda bildtexter som indata på hög nivå.
Top-Down Visual Saliency Guided by Captions
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}