Abstrakt. Vi föreslår en enkel metod som samtidigt rekonstruerar 3D ansiktsstrukturen och ger tät anpassning. För att uppnå detta designar vi en 2D-representation kallad UV-positionskarta som registrerar 3D-formen av ett komplett ansikte i UV-utrymme och sedan tränar ett enkelt Convolutional Neural Network för att regressera det från en enda 2D-bild. Vi integrerar även en viktmask i förlustfunktionen under träningen för att förbättra nätverkets prestanda. Vår metod förlitar sig inte på någon tidigare ansiktsmodell, och kan rekonstruera full ansiktsgeometri tillsammans med semantisk mening. Samtidigt är vårt nätverk mycket lättviktat och spenderar bara 9.8 ms för att bearbeta en bild, som är extremt snabbare än tidigare verk. Experiment på flera utmanande dataset visar att vår metod överträffar andra state-of-the-art metoder för både rekonstruktion och anpassning uppgifter med stor marginal. Koden finns på https://github.com/YadiraF/PRNet.
I ett senare arbete REF, Feng et al. lagra 3D ansiktsgeometrin i UV-positionskartan och träna en bild-till-bild CNN att direkt regressera den kompletta 3D ansiktsstrukturen tillsammans med semantisk information från en enda bild.
Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}