Detta papper undersöker hur långt ett mycket djupt neuralt nätverk är från att uppnå nära mättnad prestanda på befintliga 2D och 3D ansikte anpassning dataset. I detta syfte gör vi följande 5 bidrag: a) vi konstruerar, för första gången, en mycket stark baslinje genom att kombinera en toppmodern arkitektur för landmärkeslokalisering med ett toppmodernt restblock, träna den på en mycket stor men syntetiskt expanderade 2D ansikts landmärke dataset och slutligen utvärdera den på alla andra 2D ansikts landmärke dataset. (b) Vi skapar en guidad av 2D landmärken nätverk som konverterar 2D landmärke annoteringar till 3D och enar alla befintliga dataset, vilket leder till skapandet av LS3D-W, den största och mest utmanande 3D ansikts landmärke dataset hittills (~230,000 bilder). (c) Därefter tränar vi ett neuralt nätverk för 3D-ansiktsjustering och utvärderar det på den nyligen införda LS3D-W. (d) Vi undersöker vidare effekten av alla "traditionella" faktorer som påverkar ansiktsuppriktningens prestanda som stor pose, initialisering och upplösning, och introducerar en "ny" en, nämligen nätverkets storlek. (e) Vi visar att både 2D- och 3D-uppriktningsnäten uppnår en anmärkningsvärd noggrannhet som troligen är nära att mätta de datauppsättningar som används. Utbildnings- och testkod samt datauppsättningen kan laddas ner från https: // www. adrianbulat.com/face-alignment/
När det gäller bedömningen av gränserna för djup NN för problem med ansiktsanpassning på befintliga offentliga datauppsättningar i 2D och 3D, utvecklar författarna REF ett nytt offentligt dataset med 3D-ansikte som heter LS3D-W som förenar alla befintliga dataset och studerar prestandan hos både 2D och 3D utgör estimeringsnät i detta nya sammanhang.
How far are we from solving the 2D&3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}