Abstrakt. Vi föreslår en metod för att förutsäga mänsklig egocentrisk visuell uppmärksamhet med hjälp av nedifrån-och-upp visuell styrka och information om egorörelser. Beräkningsmodeller för visuell hälsa används ofta för att förutsäga människans uppmärksamhet, men dess mekanism och effektivitet har inte utforskats fullt ut i egocentriska visioner. Syftet med vårt ramverk är att beräkna uppmärksamhetskartor från en egocentrisk video som kan användas för att dra slutsatser om en persons visuella uppmärksamhet. Förutom en vanlig visuell bärkraftsmodell beräknas två typer av uppmärksamhetskartor baserat på kamerans rotationshastighet och rörelseriktning. Dessa rotationsbaserade och översättningsbaserade uppmärksamhetskartor sammanställs med en nedifrån-och-upp-karta för att öka den noggrannhet med vilken personens blickpositioner kan förutses. Effektiviteten i det föreslagna ramverket undersöktes i verkliga miljöer med hjälp av en huvudmonterad blickspårare, och vi fann att de egorörelsebaserade uppmärksamhetskartorna bidrog till att exakt förutsäga människans visuella uppmärksamhet.
Yamada m.fl. REF har utnyttjat information om nedifrån-och-upp-nivå och egorörelse för att förutsäga uppmärksamhet (salienskartor) och har därefter granskat hur de fungerar med hjälp av huvudmonterade ögonspårare.
Attention prediction in egocentric video using motion and visual saliency
{'venue': 'PSIVT', 'journal': None, 'mag_field_of_study': ['Computer Science']}