De vanligaste tillvägagångssätten för automatiskt känsloigenkänning bygger på prosodiska drag på talnivå. Nyligen genomförda studier har visat att statistik på talnivå över segmentala spektralfunktioner också innehåller rik information om expressivitet och känslor. I vårt arbete introducerar vi en mer finkornig men ändå robust uppsättning av spektralfunktioner: statistik av Mel-Frequency Cepstral Koefficienter som beräknas över tre foneme typ klasser av intresse -stressade vokaler, ostressade vokaler och konsonanter i uttalandet. Vi undersöker prestanda av våra funktioner i uppgiften att tala-oberoende känsloigenkänning med hjälp av två offentligt tillgängliga dataset. Våra experimentella resultat visar tydligt att faktiskt både den rikare uppsättningen av spektralfunktioner och differentieringen mellan foneme typ klasser är fördelaktigt för uppgiften. Klassificeringsaccuracies är genomgående högre för våra funktioner jämfört med prosodiska eller uttalande nivå spektral funktioner. Kombination av vår foneme klass funktioner med prosodiska funktioner leder till ännu ytterligare förbättring. Med tanke på det stora antalet klass-nivå spektralfunktioner, vi förväntade funktionen urval kommer att förbättra resultaten ännu mer, men ingen av flera urvalsmetoder ledde till tydliga vinster. Ytterligare analyser visar att spektralfunktioner som beräknas från konsonanta regioner i uttalandet innehåller mer information om känslor än antingen stressade eller ostressade vokaldrag. Vi undersöker också hur exaktheten i känsloigenkänningen beror på tallängden. Vi visar att även om det inte finns något betydande beroende av prosodiska drag på talnivå, ökar exaktheten i känsloigenkänningen med hjälp av klass-nivå-spektrala egenskaper med tallängden. Discipliner Datavetenskap Kommentarer De vanligaste tillvägagångssätten för automatisk känsloigenkänning bygger på prosodiska funktioner på talnivå. Nyligen genomförda studier har visat att statistik på talnivå över segmentala spektralfunktioner också innehåller rik information om expressivitet och känslor. I vårt arbete introducerar vi en mer finkornig men ändå robust uppsättning av spektralfunktioner: statistik av Mel-Frequency Cepstral Koefficienter som beräknas över tre foneme typ klasser av intresse -stressade vokaler, ostressade vokaler och konsonanter i uttalandet. Vi undersöker prestanda av våra funktioner i uppgiften att tala-oberoende känsloigenkänning med hjälp av två offentligt tillgängliga dataset. Våra experimentella resultat visar tydligt att faktiskt både den rikare uppsättningen av spektralfunktioner och differentieringen mellan foneme typ klasser är fördelaktigt för uppgiften. Klassificeringsaccuracies är genomgående högre för våra funktioner jämfört med prosodiska eller uttalande nivå spektral funktioner. Kombination av vår foneme klass funktioner med prosodiska funktioner leder till ännu ytterligare förbättring. Med tanke på det stora antalet klass-nivå spektralfunktioner, vi förväntade funktionen urval kommer att förbättra resultaten ännu mer, men ingen av flera urvalsmetoder ledde till tydliga vinster. Ytterligare analyser visar att spektralfunktioner som beräknas från konsonanta regioner i uttalandet innehåller mer information om känslor än antingen stressade eller ostressade vokaldrag. Vi undersöker också hur exaktheten i känsloigenkänningen beror på tallängden. Vi visar att även om det inte finns något betydande beroende av prosodiska drag på talnivå, ökar exaktheten i känsloigenkänningen med hjälp av klassnivåspektrala egenskaper med tallängden. q Detta dokument är en utökad version av det arbete som först presenterades i Interspeech 2009 (Bitouk et al., 2009 ). Detta dokument innehåller ytterligare material om funktionsval och funktionsanalys, experiment som kopplar samman tallängd och systemprestanda, högtalarberoende igenkänning och utökad diskussion om det relaterade arbetet.
Bitouk m.fl. REF föreslog användning av phoneme klasse MFCC och visade att traditionella prosodiska funktioner och statistik för MFCC överträffas.
Class-level spectral features for emotion recognition
{'venue': 'Speech communication', 'journal': 'Speech communication', 'mag_field_of_study': ['Computer Science', 'Medicine']}