Vi presenterar en helt automatisk multimodal 2D + 3D-funktionsbaserad ansiktsuttrycksigenkänningsmetod och demonstrerar dess prestanda i BU-3DFE-databasen. Vår strategi kombinerar multi-order gradient-baserade lokala textur och form deskriptorer för att uppnå effektivitet och robusthet. För det första, en stor uppsättning fiduciala ansiktsmarkeringar av 2D ansiktsbilder tillsammans med sina 3D-ansiktsskanningar lokaliseras med hjälp av en ny algoritm nämligen inkrementell parallell Cascade av linjär regression (iPar-CLR). Därefter används en roman Histogram av andra ordningens gradienter (HSOG) baserad lokal bilddeskriptor tillsammans med den allmänt använda första ordningens gradientbaserad SIFT-deskriptor för att beskriva den lokala strukturen runt varje landmärke i 2D. På samma sätt beskrivs den lokala geometrin runt varje landmärke i 3D av två nya lokala formdeskriptorer som konstruerats med hjälp av den första ordningen och den andra ordningens ytdifferentialgeometri, dvs. histogram av maskstorlekens gradienter (meshHOG) och histogram av mesh Shape index (kurvaquantization, meshHOS). Fi- * Motsvarande författare nally, Support Vector Machine (SVM) baserad erkännande resultat av alla 2D och 3D deskriptorer är sammanslagna på både funktionsnivå och poäng-nivå för att ytterligare förbättra noggrannheten. Omfattande experimentella resultat visar att det finns imponerande kompletterande egenskaper mellan 2D- och 3D-deskriptorerna. Vi använder BU-3DFE-riktmärket för att jämföra vår strategi med de senaste. Vår multimodala funktionsbaserade metod överträffar de andra genom att uppnå en genomsnittlig igenkänningsnoggrannhet på 86,32 %. Dessutom visas en god generaliseringsförmåga i databasen Bosphorus. Påverkansigenkänning syftar till att bestämma en individs känslor genom att upptäcka-2 och mäta de känslorelaterade fysiologiska (t.ex. kroppsliga symptom), 3 psykologiska (t.ex. känslor) eller beteendemässiga (t.ex. ansiktsuttryck) karaktär-4-istik [1], [2]. Som en lätt detekterbar, samlarbar och mätbar känsla 5 komponent, ansiktsuttryck är idealisk för att påverka igenkänning och för människa-6 datorinteraktion relaterade applikationer [3]. Facial Expression 7 Recognition (FER) är dock ett mycket utmanande problem främst på grund av diver-8 situ och hybriditet av mänskliga uttryck bland olika ämnen i olika 9 kulturer, kön och sammanhang. 10 Under de senaste årtiondena har ett stort antal FER-strategier föreslagits. De kan kategoriseras ur tre perspektiv, nämligen data 12 modalitet, uttryck granularitet och temporal dynamik. Från första 13 perspektiv, de klassificeras i 1) 2D FER (som använder 2D grå eller färg 14 ansiktsbilder), 2) 3D FER (som använder 3D-intervall bilder, punktmoln, eller 15 maskor av ansikten), och 3) multimodala 2D + 3D FER (som använder både 2D och 16 3D ansiktsdata). Ur det andra perspektivet är de uppdelade i 1) sex 17 grundläggande ansiktsuttryck (dvs. ilska, avsky, rädsla, lycka, sorg, och sur-18-prise) igenkänning, 2) ansikts Action Unit (AU, t.ex., brynförhöjning, läppåtstramning, 19 och mun stretch) detektering och igenkänning. Från det tredje perspektivet, 20 de kategoriseras till statiska (fortfarande bilder) och dynamiska (bildsekvenser) 21 FER. I detta dokument fokuserar vi på problemet med att känna igen de sex grundläggande ansikts 22 uttrycken med multimodala 2D + 3D statiska bilder. Utseendebaserad 2D FER har undersökts i stor utsträckning sedan 1990-talet [3]. De viktigaste forskningsämnena ligger i tre aspekter: ansiktsdetektering, uttryck re-25 52 3D ansiktsregistrering och modellmontering är oumbärliga. Feature-baserade ap-53 proaches i allmänhet extrahera 3D uttryck cues runt ansikts landmärken med 54 olika ansiktsyta geometriska eller differential storheter. Till exempel används de 55 avstånden mellan 3D-ansiktsmärkena ofta i [15], [16], [17], 56 och [18]. Dessutom är 3D-ansiktskurvor [19], ansiktsgeometribilder och normala 57 kartor [20], [21] ansiktskonforma bilder [22], ansiktsytan normal [23], [24] 58 och krökningar [23], [25], [24] och lokala djup-SIFT-funktioner [26] omkring 59 populära uttryck. Feature-baserade metoder i allmänhet presterar 60 bättre än mallbaserade metoder. Flaskhalsen av funktionsbaserade 61 tillvägagångssätt ligger dock i exakt och robust 3D-ansikte landmärke lokalisering, som 62 är fortfarande en mycket svår uppgift [27]. Mer detaljerade undersökningar av 3D ansiktsuttryck 63 4 GODKÄND MANUSCRIPT A C C E P T E D M A N U S C R I P T-igenkänning ges i [28], [29]. 64 Även om effektiviteten hos multimodal 2D + 3D ansiktsigenkänning har presenterats väl som i [30], [31], är undersökningen av multimodal 2D + 66 3D FER mycket begränsad. Wang m.fl. [25] jämförde FER noggrannheten av 67 3D primitiva ytegenskaper fördelning baserad metod med 2D Gabor-68 wavelet och Topographic Context baserat på BU-3DFE databas, 69 och fann att 3D form baserad metod är överlägsen 2D en, särskilt 70 för icke-frontala ansikten. Emellertid diskuterades inte effektiviteten av kamning 3D och 2D ap-71 proaches. Zhao m.fl. [14] använde både 2D-funktioner (RGB 72-värden och LBP) och 3D-funktioner (3D-koordinater och formindexvärden) 73 i 3D-statistikens funktionsmodell för prototypisk uttrycksigenkänning. 74 Men resultaten med endast 2D-funktioner eller 3D-funktioner rapporterades inte, och 75 därför komplementariteten mellan 2D- och 3D-funktioner var inte heller stud-76 id. I [32] använde författarna både 2D och 3D dynamiska data för realtid 77 ansiktsbehandling och uttryck igenkänning. Närmare bestämt utökade de först 78 den aktiva formmodellen för att hantera 3D-data för ansiktsfunktionsspårning. Därefter tog de fram ett stort antal geometriska mätningar (t.ex. avstånden mellan landmärken och läpparnas gränsform) och ytdeformation 81 mätningar (t.ex. bildgradient och ytkurva). Fi-82 nally, Rule Classifier användes för att känna igen en delmängd av 11 viktiga 83 AU och 4 ansiktsuttryck (dvs., glad, ledsen, överraskning, avsky) på en datauppsättning 84 bestående av 832 sekvenser av 52 deltagare. Deras experimentella resultat 85 visade att den föreslagna 2D+3D-algoritmen utförde mycket bättre 86 än den 2D-utseendebaserade algoritmen (dvs. 2D ASM + Gabor filter + 87 LDA) för att känna igen de fyra ansiktsuttrycken. Detta är en mycket upplysande 88-inflygning för 2D+3D multimodal FER. De har dock inte rapporterat 89 resultat för varje transportsätt inom sina egna ramar. Betydelsen av 90 av varje modalitet är fortfarande oklar. Savran m.fl. [33] utnyttjade multimodala 2D 91 + 3D-ansiktsdata för upptäckt av AU i ansiktet. De fann att 3D-data i allmänhet 92 presterar bättre än 2D-data, särskilt för lägre AU. Dessutom kan två metoder förbättra detektionsfrekvensen från 93,5% (2D) och 94 95,4% (3D) till 97,1% (2D+3D). Med undantag för ansikts-AU-detektion och expres-95 års igenkänning, Wang et al. [34] Kvantifierade ansiktsuttrycksavvikelser i 96 Schizofreni genom att kombinera 2D- och 3D-funktioner. Deras experimentella resultat 97 visade att de kombinerade egenskaperna bättre karakteriserade ansiktsexpres-98 än antingen individuella 3D geometriska eller 2D textur funktioner. 99 Ovanstående studier har preliminärt visat att kombinationen av 2D- och 3D-data är bättre än den enskilda 2D- eller 3D-modaliteten 101 129 er. HSOG fångar däremot de krökningsrelaterade kurvorna på ytan, 130 d.v.s. klippor, åsar, toppar, dalar, bassänger och så vidare. HSOG kan således appliceras 131 för att beskriva ansiktsuttrycksdeformationer (t.ex. munstretch, läpp 132 bår, brynförhöjning). I detta dokument visades dessutom 133 att HSOG överträffade den första ordningens lutningsbaserade lokala bild descrip-134 tors (dvs. HOG, LBP, SIFT) när det inte fanns allvarliga skalvariationer, som 135 i applikationerna för lokal bildmatchning och scenklassificering. I detta 136 dokument ger vi ytterligare ett bevis på HSOG:s effektivitet och generaliseringsförmåga 137 för FER. På samma sätt ger meshHOG 138 och meshHOS, som allmänna lokala formdeskriptorer, en kompakt beskrivning av ansiktsytan normal 139
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF undersöker noggrant FER med hjälp av både 2D- och 3D-modalitet, och börjar med handgjorda deskriptorer för att fånga lokal form och lokal texturinformation.
An efficient multimodal 2D + 3D feature-based approach to automatic facial expression recognition
{'venue': 'Comput. Vis. Image Underst.', 'journal': 'Comput. Vis. Image Underst.', 'mag_field_of_study': ['Mathematics', 'Computer Science']}