I den här artikeln presenterar vi de tekniker som används för universitetet i Montréals team bidrag till 2013 Emotion Recognition in the Wild Challenge. Utmaningen är att klassificera de känslor som uttrycks av det primära mänskliga subjektet i korta videoklipp som utvunnits ur långfilm. Detta innebär analys av videoklipp av spelade scener som varar cirka en-två sekunder, inklusive ljudspåret som kan innehålla mänskliga röster samt bakgrundsmusik. Vårt tillvägagångssätt kombinerar flera djupa neurala nätverk för olika datamodaliteter, inklusive: (1) en djup convolutional neural nätverk för analys av ansiktsuttryck inom videoramar; (2) en djup tro nät för att fånga ljudinformation; (3) en djup autoencoder för att modellera den spatiotemporal information som produceras av de mänskliga handlingar som avbildas inom hela scenen; och (4) en ytlig nätverk arkitektur fokuserad på extraherade funktioner i munnen på det primära mänskliga objektet i scenen. Vi diskuterar var och en av dessa tekniker, deras prestandaegenskaper och olika strategier för att aggregera deras förutsägelser. Vår bästa enda modell var ett konvolutionellt neuralt nätverk tränas för att förutsäga känslor från statiska ramar med hjälp av två stora datamängder, Toronto Face Database och vår egen uppsättning av ansikten bilder skördas från Google bildsökning, följt av en per ram aggregation strategi som använde utmaningen utbildningsdata. Detta gav en testnoggrannhet på 35,58 %. Med hjälp av vår bästa strategi för att samla våra topputförande modeller till en enda prediktor kunde vi producera en noggrannhet på 41.03% på utmaning testuppsättningen. Dessa jämför gynnsamt med testerna vid teststart med en noggrannhet på 27,56 %.
Kahou m.fl. REF kombinerade modalitetsspecifika multipla djupa neurala nätverk.
Combining modality specific deep neural networks for emotion recognition in video
{'venue': "ICMI '13", 'journal': None, 'mag_field_of_study': ['Computer Science']}