Sammanfattning av denna webbsida: Känsloigenkänning spelar en viktig roll i samspelet mellan människa och dator. Tidigare studier har undersökt användningen av ansiktsuttryck och electroencephalogram (EEG) signaler från en enda modal för känsloigenkänning separat, men få har uppmärksammat en fusion mellan dem. I detta dokument antog vi en multimodal ram för erkännande av känslor genom att kombinera ansiktsuttryck och EEG, som bygger på en valence-aousal känslomässig modell. För ansiktsuttrycksdetektering, följde vi en överföring lärande strategi för multi-task convolutional neural network (CNN) arkitekturer för att upptäcka tillstånd av valence och upphetsning. För detektion av EEG upptäcktes två inlärningsmål (värde och upphetsning) av olika klassificeringar av stödvektorer (SVM) separat. Slutligen användes två fusionsmetoder på beslutsnivå baserade på viktregeln eller en adaptiv boosterteknik för att kombinera ansiktsuttryck och EEG. I experimentet instruerades försökspersonerna att titta på klipp som utformats för att framkalla en känslomässig reaktion och sedan rapportera sitt känslomässiga tillstånd. Vi använde två emotionsdataset-a Database for Emotion Analysis using Fysiological Signals (DEAP) och MAHNOB-human computer interface (MAHNOB-HCI) för att utvärdera vår metod. Dessutom utförde vi även ett online-experiment för att göra vår metod mer robust. Vi har experimentellt visat att vår metod producerar toppmoderna resultat i form av binär valence/arousal klassificering, baserat på DEAP och MAHNOB-HCI dataset. Dessutom uppnådde vi för online-experimentet 69,75 % noggrannhet för valsutrymmet och 70,00 % noggrannhet för det upphetsande utrymmet efter fusionen, som var och en har överträffat den högsta prestandan för en enda modalitet (69,28 % för valsutrymmet och 64,00 % för det upphetsande utrymmet). Resultaten tyder på att kombinationen av ansiktsuttryck och EEG-information för känsloigenkänning kompenserar för deras defekter som enskilda informationskällor. Nytt med detta arbete är följande. Till att börja med kombinerade vi ansiktsuttryck och EEG för att förbättra resultatet av känsloigenkänning. Dessutom använde vi överföring lärteknik för att ta itu med problemet med brist på data och uppnå högre noggrannhet för ansiktsuttryck. Slutligen, förutom att genomföra den allmänt använda fusionsmetoden baserad på att räkna upp olika vikter mellan två modeller, utforskade vi också en ny fusionsmetod med hjälp av boosterteknik.
Huang m.fl. REF utförde binär klassificering av statyer av valence och upphetsning genom att kombinera EEG och ansiktsuttryck.
Combining Facial Expressions and Electroencephalography to Enhance Emotion Recognition
{'venue': 'Future Internet', 'journal': 'Future Internet', 'mag_field_of_study': ['Computer Science']}