Figur 1: Vårt system skapar en helt riggad 3D-avatar av användaren från okalibrerad videoingång förvärvad med en mobilkamera. De mixshape modellerna av de rekonstruerade avatarerna är förstärkta med texturer och dynamiska detaljkartor, och kan animeras i realtid. Vi presenterar en komplett pipeline för att skapa helt riggade, personliga 3D ansiktsavatarer från handhållna video. Vårt system återvinner troget ansiktsuttrycksdynamiken hos användaren genom att anpassa en mixshape-mall till en bildsekvens av inspelade uttryck med hjälp av en optimering som integrerar funktionsspårning, optiskt flöde och form från skuggning. Finskaliga detaljer som rynkor fångas separat i normala kartor och omgivande ocklusionskartor. Med hjälp av dessa användar- och expressionsspecifika data lär vi oss en regressator för detaljsyntes i farten under animeringen för att förbättra avatarernas perceptuella realism. Vårt system visar att användningen av lämpliga rekonstruktioner tidigare ger övertygande riggar även med ett minimalistiskt förvärvssystem och begränsad användarassistans. Detta underlättar en rad nya applikationer inom datoranimering och onlinekommunikation på konsumentnivå baserat på personliga avatarer. Vi presenterar applikationsdemos i realtid för att validera vår metod.
REF föreslår att skapa helt riggade, personliga 3D ansiktsavatarer från handhållen video.
Dynamic 3D avatar creation from hand-held video input
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}