Känslor spelar en viktig roll i hur vi väljer och konsumerar multimedia. Den senaste tidens framsteg när det gäller att upptäcka effekter är inriktade på att ständigt upptäcka känslor. I detta papper, för första gången, upptäcker vi ständigt valence från electroencephalogram (EEG) signaler och ansiktsuttryck som svar på videor. Flera notatorer gav valence nivåer kontinuerligt genom att titta på frontal ansiktsfilmer av deltagare som tittade på korta emotionella videor. Strömspektrala funktioner från EEG-signaler och ansiktsbilder används som funktioner för att kontinuerligt upptäcka valencenivåer för varje ram. Vi studerar korrelationen mellan egenskaper från EEG och ansiktsuttryck med kontinuerlig valence. Vi har också verifierat vår modells prestanda för den emotionella höjdpunktsdetekteringen med hjälp av känsloigenkänning från EEG-signaler. Slutligen presenteras resultaten av multimodal fusion mellan ansiktsuttryck och EEG-signaler. Med sådana modeller kommer vi att kunna upptäcka spontana och subtila affektiva svar över tid och använda dem för video highlight upptäckt.
REF genomförde en undersökning av känslodetektering och ansiktsuttryck med både EEG-signal och ansiktsbilder av RNN.
Continuous emotion detection using EEG signals and facial expressions
{'venue': '2014 IEEE International Conference on Multimedia and Expo (ICME)', 'journal': '2014 IEEE International Conference on Multimedia and Expo (ICME)', 'mag_field_of_study': ['Computer Science']}