Att känna igen talkänslor är ett utmanande problem, eftersom människor förmedlar känslor på subtila och komplicerade sätt. För känsloigenkänning på mänskligt tal, kan man antingen extrahera känslor relaterade funktioner från ljudsignaler eller använda taligenkänning tekniker för att generera text från tal och sedan tillämpa naturligt språk bearbetning för att analysera känslan. Dessutom kommer känsloigenkänning att vara till nytta om man använder audiotextuell multimodal information, och det är inte trivialt att bygga ett system för att lära av multimodalitet. Man kan bygga modeller för två indatakällor separat och kombinera dem på beslutsnivå, men denna metod ignorerar interaktionen mellan tal och text i temporaldomänen. I detta dokument föreslår vi att man använder en uppmärksamhetsmekanism för att lära sig anpassningen mellan talramar och textord i syfte att åstadkomma mer exakta multimodala funktionsrepresentationer. De anpassade multimodala egenskaperna matas in i en sekventiell modell för känsloigenkänning. Vi utvärderar metoden för IEMOCAP-datasetet och de experimentella resultaten visar att det föreslagna tillvägagångssättet uppnår den senaste prestandan på datasetet.
Xu, H. och Al. I REF 2019 föreslogs en uppmärksamhetsmekanism med ASR-systemet för att lära sig anpassningen mellan det ursprungliga talet och den erkända texten, som sedan används för att koppla samman funktioner från två tillvägagångssätt.
Learning Alignment for Multimodal Emotion Recognition from Speech
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}