Uppgiften för Emotion Recognition in the Wild (EmotiW) Challenge är att tilldela en av sju känslor till korta videoklipp extraherade från Hollywood stil filmer. Videorna skildrar utspelade känslor under realistiska förhållanden med en stor variation i attribut som pos och belysning, vilket gör det värt att undersöka metoder som tar hänsyn till kombinationer av funktioner från flera olika former för etiketttilldelning. I detta dokument presenterar vi vår strategi för att lära sig flera specialiserade modeller med hjälp av djuplärande tekniker, var och en med fokus på en modalitet. Bland dessa finns ett konvolutionellt neuralt nätverk, med fokus på cap-turing visuell information i upptäckta ansikten, ett djupt trosnät med fokus på representationen av ljudströmmen, en KMeans-baserad "bag-of-mouths" modell, som extraherar visuella funktioner runt munnen regionen och en relationell autoencoder, som behandlar spatio-temporala aspekter av videor. Vi utforskar flera metoder för kombinationen av signaler från dessa metoder till en gemensam klassificering. Detta ger en betydligt större noggrannhet än förutsägelser från vår starkaste enmodalitet klassificering. Vår metod var den vinnande inlämningen i 2013 EmotiW utmaningen och uppnådde en testuppsättning noggrannhet på 47,67 % på 2014 datasetet.
Kahou m.fl. REF presenterar en metod för att lära sig flera specialiserade modeller med hjälp av djupinlärningsteknik.
EmoNets: Multimodal deep learning approaches for emotion recognition in video
{'venue': 'Journal on Multimodal User Interfaces', 'journal': 'Journal on Multimodal User Interfaces', 'mag_field_of_study': ['Mathematics', 'Computer Science']}