Abstract-Automatisk påverkan erkännande är en utmanande uppgift på grund av de olika modaliteter känslor kan uttryckas med. Applikationer kan hittas i många domäner, inklusive multimedia hämtning och mänsklig dator interaktion. Under de senaste åren har djupa neurala nätverk använts med stor framgång för att bestämma emotionella tillstånd. Inspirerade av denna framgång föreslår vi ett känsloigenkänningssystem med hjälp av hörsel- och visuella metoder. För att fånga det känslomässiga innehållet för olika sätt att tala, robusta funktioner måste extraheras. För detta ändamål använder vi ett Convolutional Neural Network (CNN) för att extrahera funktioner från talet, medan för den visuella modaliteten ett djupt kvarvarande nätverk (ResNet) av 50 lager. Förutom vikten av funktionsextraktion behöver en maskininlärningsalgoritm också vara okänslig för avvikande faktorer samtidigt som den kan modellera sammanhanget. För att ta itu med detta problem, är Long Short-Term Memory (LSTM) nätverk används. Systemet tränas sedan i en end-to-end mode där -genom att också dra nytta av korrelationerna mellan de olika strömmarna - vi lyckas betydligt överträffa de traditionella tillvägagångssätt som bygger på hörsel och visuella handgjorda funktioner för förutsägelse av spontana och naturliga känslor i RECLA databasen av AVEC 2016 forskningsutmaning om känsloigenkänning.
Tzirakis m.fl. I REF föreslogs ett system för end-to-end-känslorsigenkänning med hjälp av CNN för att extrahera funktioner från talet och använda LSTM för att hantera tidsrelaterad information i data, och tränade den föreslagna multimodellen per restenhet för att påskynda förfarandet.
End-to-End Multimodal Emotion Recognition using Deep Neural Networks
{'venue': 'IEEE Journal of Selected Topics in Signal Processing', 'journal': 'IEEE Journal of Selected Topics in Signal Processing', 'mag_field_of_study': ['Computer Science']}