Monocular 3D ansiktsform rekonstruktion från en enda 2D ansiktsbild har varit ett aktivt forskningsområde på grund av dess breda tillämpningar. Inspirerad av framgången med djupa neurala nätverk (DNN), föreslår vi en DNN-baserad strategi för End-to-End 3D Face Rekonstruktion (UH-E2FAR) från en enda 2D-bild. Annorlunda från senaste verk som rekonstruerar och förfinar 3D-ansiktet på ett iterativt sätt med hjälp av både en RGB-bild och en inledande 3D-ansiktsform rendering, är vår DNN-modell end-to-end, och därmed den komplicerade 3D-renderingsprocessen kan undvikas. Dessutom integrerar vi i DNN:s arkitektur två komponenter, nämligen en multi-task förlustfunktion och ett fusionskonvolutionellt neuralt nätverk (CNN) för att förbättra ansiktsuttrycksrekonstruktion. Med multi-task förlust funktion, 3D ansikte rekonstruktion är uppdelad i neutral 3D ansiktsform rekonstruktion och uttrycks 3D ansiktsform rekonstruktion. Den neutrala 3D ansiktsformen är klassspecifik. Därför är högre lager funktioner användbara. Som jämförelse, den uttrycksfulla 3D ansiktsformen gynnar lägre eller mellanlager funktioner. Med fusions-CNN sammansmältes och transformeras funktioner från olika mellanskikt för att förutsäga 3D-uttryckande ansiktsform. Genom omfattande experiment, visar vi överlägsenheten i vår end-to-end ram för att förbättra noggrannheten i 3D ansikte återuppbyggnad.
Pengfei Dou m.fl. I REF föreslogs en metod för rekonstruktion i slutet av 3D från en enda RGB-bild.
End-to-End 3D Face Reconstruction with Deep Neural Networks
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}