Figur 1: Ansiktsöverföring med flerradiga modeller ger animatorer frikopplad kontroll över ansiktsattribut som identitet, uttryck och vise. I detta exempel kombinerar vi pose och identitet från den första ramen, förvånade uttryck från den andra, och ett viseme (mun articulation för en ljud halvvägs mellan "oo" och "ee") från den tredje. Den resulterande kompositen blandas tillbaka till den ursprungliga ramen. Face Transfer är en metod för att kartlägga videoinspelade föreställningar av en individ till ansiktsanimeringar av en annan. Den extraherar visemer (peech-relaterade mun articulations), uttryck, och tredimensionell (3D) pose från monocular video eller film film. Dessa parametrar används sedan för att generera och driva en detaljerad 3D texturerad yta mesh för en målidentitet, som sömlöst kan återges tillbaka i målbilder. Den underliggande ansiktsmodellen anpassar sig automatiskt för hur målet utför ansiktsuttryck och viseem. Prestandadata kan enkelt redigeras för att ändra visemen, uttryck, pose, eller ens identitet mål-attributen är separat kontrollerbara. Detta stöder ett brett utbud av video rewrite och marionettprogram. Face Transfer är baserad på en multilinjär modell av 3D-maskor som separerar mellanrummet för geometriska variationer på grund av olika attribut (t.ex. identitet, uttryck och viseme). Separerbarhet innebär att var och en av dessa attribut kan varieras självständigt. En multilinjär modell kan beräknas från en kartesisk produkt av exempel (identiteter × uttryck × visemer) med tekniker från statistisk analys, men först efter noggrann förbearbetning av geometriska data som för att säkra en-till-en korrespondens, för att minimera korskoppling artefakter, och för att fylla i eventuella saknade exempel. Face Transfer erbjuder nya lösningar på dessa problem och länkar den uppskattade modellen med en face-tracking algoritm för att extrahera pose, uttryck och viseme parametrar.
Vlasic m.fl. I REF föreslogs en flerradig modell av ansiktsuttryck för spårning och omriktning.
Face transfer with multilinear models
{'venue': "SIGGRAPH '06", 'journal': None, 'mag_field_of_study': ['Computer Science']}