Bimodal känsloigenkänning genom fusion av audiovisuella inslag har tidigare visat sig överlägsen varje enskild modalitet. Ändå, synkronisering av de två strömmarna är en utmaning, eftersom många vision närmar sig arbete på en ram basis motsatt ljud turn-eller bit-bas. Därför används sena fusionssystem som enkel logik eller röstningsstrategier ofta för den totala uppskattningen av underliggande påverkan. Det är dock känt att tidig fusion är effektivare i många andra multimodala erkännandeuppgifter. Vi föreslår därför en kombinerad analys med beskrivande statistik över ljud och video Lågnivådeskriptorer för efterföljande statisk SVM-klassificering. Denna strategi möjliggör också en kombinerad funktions-rymdoptimering som kommer att diskuteras häri. Den höga effektiviteten av detta tillvägagångssätt visas i en databas på 11,5h som innehåller sex känslomässiga situationer i ett flygplan scenario.
I REF presenteras en kombinerad analys av lågnivå ljud och visuella representationer baserat på tidig funktion fusion för ansiktskänslor igenkänning i videor.
Low-level fusion of audio and video feature for multi-modal emotion recognition
{'venue': 'In International Conference on Computer Vision Theory and Applications (VISAPP', 'journal': None, 'mag_field_of_study': ['Computer Science']}