I den här artikeln visar vi hur en 3D Morphable Model (dvs. En statistisk modell av 3D-formen av en klass av objekt såsom ansikten) kan användas för att rumsligt omvandla ingångsdata som en modul (en 3DMM-STN) inom ett konvolutionellt neuralt nätverk. Detta är en förlängning av det ursprungliga rumsliga transformatornätverket genom att vi kan tolka och normalisera 3D poserar förändringar och självocklusioner. Den utbildade lokaliseringsdelen av nätverket är självständigt användbar eftersom den lär sig att passa en 3D morfabel modell till en enda bild. Vi visar att lokaliseraren kan tränas med hjälp av endast enkla geometriska förlustfunktioner på en relativt liten datauppsättning men ändå kan utföra robust normalisering på mycket okontrollerade bilder inklusive ocklusion, självocklusion och stora pose förändringar.
Bas och al. I REF föreslås en arkitektur som bygger på ett rent geometriskt tillvägagångssätt genom att en 3D Morphable Model införlivas i ett rumsligt transformernätverk för att tolka och normalisera förändringar och självocklusioner.
3D Morphable Models as Spatial Transformer Networks
{'venue': '2017 IEEE International Conference on Computer Vision Workshops (ICCVW)', 'journal': '2017 IEEE International Conference on Computer Vision Workshops (ICCVW)', 'mag_field_of_study': ['Computer Science']}