Abstract-Gaze speglar hur människor bearbetar visuella scener och används därför alltmer i datorseende system. Tidigare verk visade möjligheten av blick för objekt-centriska uppgifter, såsom objekt lokalisering och igenkänning, men det är fortfarande oklart om blick kan vara också fördelaktigt för scen-centriska uppgifter, såsom bildtextning. Vi presenterar ett nytt perspektiv på blick-assisterad bildtext genom att studera samspelet mellan människans blick och uppmärksamhetsmekanismen i djupa neurala nätverk. Med hjälp av en publik storskalig blickdatauppsättning, bedömer vi först förhållandet mellan toppmoderna objekt och scenigenkänningsmodeller, nedifrån-och-upp visuell styrka, och människans blick. Vi föreslår sedan en ny delad uppmärksamhetsmodell för bildtextning. Vår modell integrerar mänsklig blick information i en uppmärksamhetsbaserad lång korttidsminne arkitektur, och tillåter algoritmen att fördela uppmärksamhet selektivt till både fixerade och icke-fixerade bildregioner. Genom utvärdering av COCO/SALICONs dataset visar vi att vår metod förbättrar bildtextionsprestandan och att blicken kan komplettera maskinuppmärksamheten för semantiska scenförståelseuppgifter.
Nyligen, REF, studerade möjligheten att integrera mänsklig blick information i en uppmärksamhetsbaserad lång korttidsminne arkitektur.
Seeing with Humans: Gaze-Assisted Neural Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}