Figur 1: Vårt system fångar automatiskt high-fidelity ansiktsföreställningar med hjälp av Internet-videor: (vänster) inmatning videodata; (mitt) de fångade ansiktsföreställningar; (höger) ansiktsredigering resultat: rynka borttagning och ansiktsgeometri redigering. I det här dokumentet presenteras ett system för att fånga ansiktets prestanda som automatiskt fångar upp ansiktsuppträdanden med hjälp av okontrollerade monokulära videor (t.ex. internetvideor). Vi startar processen genom att upptäcka och spåra viktiga ansiktsdrag såsom nosspetsen och munhörnen över hela sekvensen och sedan använda de upptäckta ansiktsdragen tillsammans med multilinjära ansiktsmodeller för att rekonstruera 3D-huvudposer och storskalig ansiktsdeformation av motivet vid varje ram. Vi använder per-pixel skuggande linjer för att lägga finskaliga ytdetaljer såsom framväxande eller försvinnande rynkor och viker in i storskalig ansiktsdeformation. I ett sista steg itererar vi vår rekonstruktionsprocess på storskalig ansiktsgeometri och finskaliga ansiktsdetaljer för att ytterligare förbättra precisionen i ansiktsrekonstruktionen. Vi har testat vårt system på monokulära videor som laddas ner från Internet, visat dess noggrannhet och robusthet under en mängd olika okontrollerade ljusförhållanden och övervinna betydande formskillnader mellan individer. Vi visar vårt system avancerar state of the art i ansikts performance capture genom att jämföra med alternativa metoder.
REF använder ett liknande tillvägagångssätt och förfinar resultaten genom att iterativt optimera den storskaliga ansiktsgeometrin och finskaliga ansiktsdetaljer.
Automatic acquisition of high-fidelity facial performances using monocular videos
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}