Uppmärksamhetsbaserade neural kodare-dekoder ramar har allmänt antagits för bildtextning. De flesta metoder tvingar visuell uppmärksamhet att vara aktiv för varje genererat ord. Dekoder kräver dock knappast någon visuell information från bilden för att förutsäga icke-visuella ord som "den" och "av". Andra ord som kan verka visuella kan ofta förutsägas på ett tillförlitligt sätt bara från språkmodellen, t.ex. "tecken" efter "bakom ett rött stopp" eller "telefon" efter "prata på en cell". I detta dokument föreslår vi en ny adaptiv uppmärksamhetsmodell med en visuell indikator. Varje gång bestämmer sig vår modell för om bilden (och i så fall till vilka regioner) eller den visuella vaktposten ska visas. Modellen avgör om bilden ska användas och var, för att extrahera meningsfull information för sekventiell ordgenerering. Vi testar vår metod på COCO bildtext 2015 utmaning dataset och Flickr30K. Vår strategi sätter den nya toppmoderna tekniken med en betydande marginal.
Sedan i REF, en adaptiv uppmärksamhet modell med en visuell indikator applicerades för att bestämma när du ska delta.
Knowing When to Look: Adaptive Attention via a Visual Sentinel for Image Captioning
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}