Automatisk förståelse av mänsklig påverkan med hjälp av visuella signaler är av stor betydelse för vardagliga interaktioner mellan människa och maskin. Att bedöma mänskliga emotionella tillstånd, beteenden och reaktioner som visas i verkliga världen, kan åstadkommas med hjälp av latenta kontinuerliga dimensioner (t.ex., den circumplex modell av påverkan). Valence (dvs. hur positiv eller negativ är en känsla) och upphetsning (dvs kraft aktivering av känslor) utgör populära och effektiva representationer för påverkan. Trots detta har majoriteten av de insamlade datamängderna hittills, även om de innehåller naturalistiska emotionella tillstånd, fångats under mycket kontrollerade registreringsförhållanden. I det här dokumentet introducerar vi Aff-Wild-riktmärket för utbildning och utvärdering av igenkänningsalgoritmer. Vi rapporterar också om resultaten av First Affect-in-the-wild Challenge (Aff-Wild Challenge) som nyligen organiserades i samband med CVPR 2017 på Aff-Wild-databasen, och var den första utmaningen någonsin när det gäller uppskattningen av tapperhet och upphetsning in-the-wild. Dessutom designar vi och tränar i stor utsträckning en end-to-end djup neural arkitektur som utför förutsägelser om kontinuerliga känslodimensioner baserade på visuella signaler. Den föreslagna djupa lärande arkitekturen, AffWildNet, innehåller konvolutionella och återkommande neurala nätverkslager, utnyttjar de invarianta egenskaperna hos konvolutionella funktioner, samtidigt som modellera temporal dynamik som uppstår i mänskligt beteende via de återkommande skikten. AffWildNet producerade toppmoderna resultat på Aff-Wild Challenge. Vi utnyttjar sedan AffWild-databasen för inlärningsfunktioner, som kan användas som föregångare för att uppnå bästa prestanda både för dimensionella och kategoriska känsloigenkänning, med hjälp av RECOLA, AFEW-VA och EmotiW 2017 datauppsättningar, jämfört med alla andra metoder som utformats för samma mål. Databas- och känsloigenkänningsmodellerna finns på http://ibug.doc.ic.ac.uk/resou rces/first -affec t-wild-chall enge.
Denna metod gav de högsta resultaten av Första Affect-inthe-wild Challenge REF, som var den första utmaningen när det gäller uppskattning av valence och upphetsande i-the-wild, med hjälp av databasen Aff-Wild för erkännande av påverkan.
Deep Affect Prediction in-the-Wild: Aff-Wild Database and Challenge, Deep Architectures, and Beyond
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science', 'Engineering', 'Mathematics']}