Känsloigenkänning spelar en viktig roll i samspelet mellan människa och dator. Tidigare och idag har många studier fokuserat på talkänslor med hjälp av flera klassificeringar och funktionsextraktionsmetoder. De flesta av dessa studier tar emellertid upp problemet med erkännande av talkänslor med tanke på känslor enbart ur ett enda språkperspektiv. Den aktuella studien utvidgar däremot erkännandet av enspråkiga känslor till att även omfatta känslor som uttrycks på flera språk och som samtidigt erkänns av ett fullständigt system. För att ta itu med denna fråga föreslås och utvärderas en metod som ger en effektiv och kraftfull lösning på tvåspråkiga känslor. Den föreslagna metoden bygger på ett klassificeringssystem med två pass som består av identifiering av det talade språket och erkännande av talkänslor. I det första passet identifieras det språk som talas; i det andra passet utförs känsloigenkänning med hjälp av de känslomodeller av språket som identifierats. Baserat på djup inlärning och i-vektor paradigm, tvåspråkig känsla erkännande experiment har utförts med hjälp av den senaste engelska IEMOCAP (fyra känslor) och tyska FAU Aibo (fem känslor) corpora. Två klassificeringar tillsammans med i-vektor funktioner användes och jämfördes, nämligen fullt anslutna djupa neurala nätverk (DNN) och konvolutionella neurala nätverk (CNN). När det gäller DNN erhölls 64,0 % respektive 61,14 % oviktade genomsnittliga återkallelser (UAR) med hjälp av IEMOCAP respektive FAU Aibo corpora. Vid användning av CNN uppnåddes 62,0 % respektive 59,8 % UAR för IEMOCAP respektive FAU Aibo corpora. Dessa resultat är mycket lovande och överlägsna dem som erhållits i liknande studier om flerspråkiga eller till och med enspråkiga känslor. Dessutom genomfördes och utvärderades ytterligare en grundmetod för erkännande av tvåspråkiga talkänslor. I grundscenariot övervägdes sex gemensamma känslor, och tvåspråkiga känslomodeller skapades, tränade på data från de två språken. I detta fall erhölls 51,2 % respektive 51,5 % UAR för sex känslor med hjälp av DNN respektive CNN. Resultaten med baslinjemetoden var rimliga och lovande, vilket visar effektiviteten av att använda i-vektorer och djupt lärande i tvåspråkig talkänslor erkännande. Å andra sidan visade den föreslagna tvåpassmetoden baserad på språkidentifiering betydligt högre prestanda. Dessutom utvidgades den aktuella studien till att även behandla flerspråkiga intresserade forskare kommer att kunna replikera talkänslor med hjälp av corpora som samlats in under liknande förhållanden. Särskilt den engelska IEMOCAP, den tyska Emo-DB, och en japansk corpus användes för att känna igen fyra känslor baserat på den föreslagna två-pass metoden. Resultaten var mycket lovande och skillnaderna i UAR var inte statistiskt signifikanta jämfört med de enspråkiga klassificeringarna.
I REF föreslog författarna två-pass metod baserad på språkidentifiering och sedan känsla erkännande.
A comprehensive study on bilingual and multilingual speech emotion recognition using a two-pass classification scheme
{'venue': 'PLoS ONE', 'journal': 'PLoS ONE', 'mag_field_of_study': ['Computer Science', 'Medicine']}