....................................... Till skillnad från nuvarande ansiktsreagens som bara modifierar uttrycket av en målaktör i en video, vår nya djup video porträtt approach möjliggör full kontroll över målet genom att överföra stel huvudpose, ansiktsuttryck och ögonrörelse med en hög nivå av fotorealism. Vi presenterar ett nytt tillvägagångssätt som möjliggör fotorealistisk återupplivning av porträttvideor med hjälp av endast en indatavideo. I motsats till befintliga metoder som är begränsade till manipulationer av ansiktsuttryck är vi de första som överför hela 3D-huvudet, huvudrotation, ansiktsuttryck, ögon blick och ögon blinkar från en källskådespelare till en porträttvideo av en målskådespelare. Kärnan i vår strategi är ett generativt neuralt nätverk med en ny rymdtidsarkitektur. Nätverket tar som indata syntetiska renderingar av en parametrisk ansiktsmodell, baserat på vilken det förutsäger fotorealistiska videoramar för en given målaktör. Realismen i denna rendering-till-video överföring uppnås genom noggrann kontradiktorisk utbildning, och som ett resultat, kan vi skapa ett modifierat mål
I ett parallellt arbete med REF introducerar de ett generativt neuralt nätverk för att förutsäga fotorealistiska videoramar från syntetiska renderingar av en parametrisk ansiktsmodell.
Deep video portraits
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}