Sammanfattning I detta dokument presenteras en studie om multimodal automatisk känsloigenkänning under en talbaserad interaktion. En databas byggdes som bestod av personer som uttalade en mening i ett scenario där de interagerade med en agent som använde tal. Tio personer uttalade en mening som motsvarade en befallning medan de gjorde 8 olika känslouttryck. Kön var lika representerade, med talare av flera olika modersmål, inklusive franska, tyska, grekiska och italienska. Ansiktsuttryck, gest och akustisk analys av tal användes för att extrahera funktioner som är relevanta för känslor. För automatisk klassificering av unimodala data, bimodala data och multimodala data användes ett system baserat på en bayesisk klassificering. Efter att ha genomfört en automatisk klassificering av varje modalitet kombinerades de olika metoderna med en multimodal metod. Sammanslagning av metoderna på funktionsnivå (före klassificeringen) och på resultatnivå (sammanställning av resultat från klassificering från varje modalitet) jämfördes. Användningen av multimodala data resulterade i en stor ökning av erkännandegraden jämfört med de enmodala systemen: den multimodala metoden ökade erkännandegraden med mer än 10 % jämfört med det mest framgångsrika enmodala systemet. Man undersökte också den bimodala känsloigenkänningen på grundval av alla kombinationer av metoder (dvs. "ansiktsförstoring", "facespeech" och "gesture-speech"). Resultaten visar att det bästa parningen är "gesur-tal". Genom att använda alla tre metoderna förbättrades klassificeringen med 3,3 % jämfört med de bästa bimodala resultaten.
Till exempel, i REF, BN används för att klassificera tvetydigheter från ansikte, kropp och taldata; en separat Bayesian klassificerare används för varje modalitet, dvs. ansikte, gest och tal.
Multimodal emotion recognition in speech-based interaction using facial expression, body gesture and acoustic analysis
{'venue': 'Journal on Multimodal User Interfaces', 'journal': 'Journal on Multimodal User Interfaces', 'mag_field_of_study': ['Computer Science']}