Som ett intuitivt sätt att uttrycka känslor har de animerade Grafiska Interchange Format (GIF) bilder använts i stor utsträckning på sociala medier. De flesta tidigare studier på automatiserad GIF-känslor igenkänning misslyckas med att effektivt utnyttja GIF unika egenskaper, och detta potentiellt begränsar igenkänningen prestanda. I denna studie, visar vi betydelsen av mänsklig relaterad information i GIFs och genomföra humancentrerad GIF känsla erkännande med en föreslagen Keypoint Deltar visuell uppmärksamhet nätverk (KAVAN). Ramverket består av en ansiktsuppmärksamhetsmodul och en hierarkisk segment temporalmodul. Ansiktet uppmärksamhet modul utnyttjar den starka relationen mellan GIF innehåll och mänskliga karaktärer, och extraherar ram-nivå visuell funktion med fokus på mänskliga ansikten. Modulen Hierarchical Segment LSTM (HS-LSTM) föreslås sedan för att bättre lära sig globala GIF-representationer. Vårt föreslagna ramverk överträffar den senaste tekniken i MIT GIFIF-datauppsättningen. Dessutom ger ansiktsuppmärksamhetsmodulen tillförlitliga ansiktsmaskförutsägelser, vilket förbättrar modellens tolkningsbarhet.
Mänsklig-centrerad GIF känsla erkännande utförs genom att överväga mänsklig relaterad information och visuell uppmärksamhet REF.
Human-Centered Emotion Recognition in Animated GIFs
{'venue': '2019 IEEE International Conference on Multimedia and Expo (ICME)', 'journal': '2019 IEEE International Conference on Multimedia and Expo (ICME)', 'mag_field_of_study': ['Computer Science']}