Närbesläktade uppgifter har ofta ett ömsesidigt beroende av varandra och fungerar bättre när de löses inom en gemensam ram. I detta dokument presenterar vi ett djupt ramverk för lärande med flera uppgifter som tillsammans utför både känslo- och känsloanalyser. De multimodala ingångarna (dvs. text, akustiska och visuella ramar) i en video förmedlar olika och särskiljande information, och har vanligtvis inte lika stor betydelse i beslutsfattandet. Vi föreslår en ram för intermodal uppmärksamhet på kontextnivå för att samtidigt förutsäga känslorna och känslorna i ett uttalande. Vi utvärderar vårt föreslagna tillvägagångssätt för CMU-MOSEI dataset för multimodala känslo- och känsloanalyser. Utvärderingsresultaten tyder på att ramen för lärande med flera uppgifter erbjuder förbättringar jämfört med ramen för en enda uppgift. I det föreslagna tillvägagångssättet redovisas nya state-of-the-art prestanda för både känsloanalys och känsloanalys.
Helt nyligen införde Ref ett uppmärksamhetsbaserat ramverk för lärande med flera uppgifter för klassifikation av känslor och känslor på CMU-MOSEI-datasetet.
Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}