Inspirerad av det senaste arbetet med maskinöversättning och objektdetektering introducerar vi en uppmärksamhetsbaserad modell som automatiskt lär sig att beskriva innehållet i bilder. Vi beskriver hur vi kan träna denna modell på ett deterministiskt sätt med hjälp av standard backpropagation tekniker och stokastiskt genom att maximera en variationell lägre gräns. Vi visar också genom visualisering hur modellen automatiskt kan lära sig att fixera blicken på framträdande objekt och samtidigt generera motsvarande ord i utdatasekvensen. Vi validerar användningen av uppmärksamhet med toppmodern prestanda på tre referensdatauppsättningar: Flickr8k, Flickr30k och MS COCO.
Xu och al. REF tog ett liknande arbetsflöde, men införde uppmärksamhetsbaserad modell med hjälp av standard back-propagation tekniker, som lär sig att uppdatera salt och samtidigt generera motsvarande ord.
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}