Uppmärksamhetsmekanismerna i djupa neurala nätverk är inspirerade av människans uppmärksamhet som gradvis fokuserar på de mest relevanta delarna av informationen över tid för att generera förutsägelseutgång. Uppmärksamhetsparametrarna i dessa modeller är implicit utbildade på ett end-to-end sätt, men det har funnits få försök att uttryckligen införliva mänsklig blickspårning för att övervaka uppmärksamhetsmodellerna. I detta dokument undersöker vi om uppmärksamhetsmodeller kan dra nytta av explicita mänskliga ögonetiketter, särskilt för uppgiften att filma. Vi samlar in en ny datauppsättning kallad VAS, bestående av filmklipp, och motsvarande flera beskrivande meningar tillsammans med mänskliga blickspårningsdata. Vi föreslår en video bildtext modell som heter Gaze Encoding Attention Network (GEAN) som kan utnyttja information om ögonspårning för att ge rumslig och temporal uppmärksamhet för meningsgenerering. Genom utvärdering av språklikviditetsmått och mänsklig bedömning via Amazon mechanical Turk visar vi att rumslig uppmärksamhet styrd av mänskliga blickdata verkligen förbättrar prestandan hos flera bildtextmetoder. Dessutom visar vi att det föreslagna tillvägagångssättet uppnår den toppmoderna prestandan för både blickförutsägelse och videotextning inte bara i VAS-datauppsättningen utan också i standarddatauppsättningar (t.ex. LSMDC [24] och Hollywood2 [18].
REF ) utnyttjad information om ögonspårning för att ge rumslig och tidsmässig uppmärksamhet för bildtextgenerering.
Supervising Neural Attention Models for Video Captioning by Human Gaze Data
{'venue': 'The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 490-498', 'journal': None, 'mag_field_of_study': ['Computer Science']}