Analysering av mänskligt multimodalt språk är ett framväxande forskningsområde inom NLP. Intrinsiskt mänsklig kommunikation är multimodal (heterogen), temporal och asynkron; den består av språket (ord), visuella (uttryck) och akustiska (paralluministiska) metoder alla i form av asynkrona samordnade sekvenser. Ur ett resursperspektiv finns det ett verkligt behov av storskaliga dataset som möjliggör fördjupade studier av multimodala språk. I detta dokument presenterar vi CMU Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI), den största datauppsättningen av känsloanalys och känsloigenkänning hittills. Med hjälp av data från CMU-MOSEI och en ny multimodal fusionsteknik som kallas Dynamic Fusion Graph (DFG) utför vi experiment för att undersöka hur metoder interagerar med varandra på mänskligt multimodalt språk. Till skillnad från tidigare föreslagna fusionstekniker är DFG mycket tolkningsbart och uppnår konkurrenskraftiga resultat jämfört med dagens teknik.
Nyligen införde REF den största multimodala datauppsättningen, nämligen CMU-MOSEI för analys av känslor och känslor.
Multimodal Language Analysis in the Wild: CMU-MOSEI Dataset and Interpretable Dynamic Fusion Graph
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}