Sammanfattning av denna webbsida: Facial Expression Recognition (FER) kan i stor utsträckning tillämpas på olika forskningsområden, såsom diagnostisering av psykiska sjukdomar och upptäckt av mänsklig social/fysiologisk interaktion. Med den framväxande avancerade tekniken inom hårdvara och sensorer har FER-system utvecklats för att stödja verkliga applikationsscener, istället för laboratoriemiljöer. Även om de laboratoriekontrollerade FER-systemen uppnår mycket hög noggrannhet, ungefär 97%, står den tekniska överföringen från laboratoriet till verkliga applikationer inför en stor barriär med mycket låg noggrannhet, cirka 50%. I den här undersökningen diskuterar vi omfattande tre viktiga utmaningar i de okoncentrerade verkliga miljöerna, såsom ljusvariation, huvudställning och ämnesberoende, som kanske inte kan lösas genom att bara analysera bilder/videor i FER-systemet. Vi fokuserar på de sensorer som kan ge extra information och hjälpa FER-systemen att upptäcka känslor i både statiska bilder och videosekvenser. Vi introducerar tre kategorier av sensorer som kan bidra till att förbättra noggrannheten och tillförlitligheten i ett expression igenkänningssystem genom att ta itu med de utmaningar som nämns ovan i ren bild / video bearbetning. Den första gruppen är detaljerade ansiktssensorer, som upptäcker en liten dynamisk förändring av en ansiktskomponent, såsom eyetrackers, som kan bidra till att differentiera bakgrundsljudet och ansiktsdragen. Den andra är icke-visuella sensorer, såsom ljud, djup, och EEG-sensorer, som ger extra information utöver visuell dimension och förbättrar igenkännbarheten till exempel i ljusvariation och läge skiftläge. Den sista är målfokuserade sensorer, såsom infraröda värmesensorer, som kan underlätta FER-system för att filtrera värdelöst visuellt innehåll och kan bidra till att motstå ljusvariation. Vi diskuterar också metoderna för sammansmältning av olika ingångar som erhålls från multimodala sensorer i ett känslosystem. Vi granskar jämförelsevis de mest framträdande multimodala känslouttrycken och pekar på deras fördelar och begränsningar. Vi introducerar i korthet referensdatamängderna relaterade till FER-system för varje kategori av sensorer och utökar vår enkät till de öppna utmaningarna och frågorna. Samtidigt utformar vi en ram av ett uttryck igenkänningssystem, som använder multimodala sensordata (som tillhandahålls av de tre kategorierna av sensorer) för att ge fullständig information om känslor för att hjälpa den rena ansikte bild / video analys. Vi analyserar teoretiskt genomförbarheten och genomförbarheten av vårt nya uttryckssystem, särskilt för användning i den vilda miljön, och pekar på framtida riktningar för att utforma ett effektivt, emotionellt uttryckssystem.
Enligt Samadiani m.fl. REF, även om laboratorie FERs uppnå mycket hög noggrannhet (cirka 97%), problemet är den tekniska överföringen från labbet till verklig tillämpning där författarna står inför en stor barriär med mycket låg noggrannhet (cirka 50%).
A Review on Automatic Facial Expression Recognition Systems Assisted by Multimodal Sensor Data
{'venue': 'Sensors (Basel, Switzerland)', 'journal': 'Sensors (Basel, Switzerland)', 'mag_field_of_study': ['Medicine', 'Computer Science', 'Engineering']}