Figur 1: Vårt system fångar och spårar ansiktsuttrycksdynamiken hos användarna (grå renderingar) i realtid och kartlägger dem till en digital karaktär (färgade renderingar) på motsatt skärm för att möjliggöra engagerande virtuella möten i cyberrymden. Detta dokument presenterar ett system för prestandabaserad teckenanimering som gör det möjligt för alla användare att kontrollera ansiktsuttryck av en digital avatar i realtid. Användaren registreras i en naturlig miljö med hjälp av en icke-inträngande, kommersiellt tillgänglig 3D-sensor. Enkelheten i detta förvärv enhet kommer till priset av höga bullernivåer i de förvärvade data. För att effektivt kartlägga 2D-bilder av låg kvalitet och 3D-djupkartor till realistiska ansiktsuttryck introducerar vi en ny ansiktsspårningsalgoritm som kombinerar geometri och texturregistrering med förinspelade animeringar i en enda optimering. Formulerad som en maximal efterhandsuppskattning i ett reducerat parameterutrymme utnyttjar vår metod implicit tidssammanhållning för att stabilisera spårningen. Vi visar att övertygande 3D-ansiktsdynamik kan rekonstrueras i realtid utan användning av ansiktsmarkörer, påträngande belysning, eller komplex skanning hårdvara. Detta gör vårt system enkelt att distribuera och underlättar en rad nya applikationer, t.ex. i digital gameplay eller sociala interaktioner.
Realtidsprestandabaserad ansiktsanimering som gör det möjligt för användaren att kontrollera ansiktsuttrycket av en digital avatar i realtid föreslås av REF.
Realtime performance-based facial animation
{'venue': 'SIGGRAPH 2011', 'journal': None, 'mag_field_of_study': ['Computer Science']}