Abstrakt. Vi presenterar en ny inlärningsbaserad ram för ansiktsåtergivning. Den föreslagna metoden, känd som ReenactGAN, är kapabel att överföra ansiktsrörelser och uttryck från en godtycklig persons monokulära videoingång till en målpersons video. Istället för att utföra en direkt överföring i pixelutrymmet, vilket kan resultera i strukturella artefakter, kartlägger vi först källsidan på en gräns latent utrymme. En transformator används därefter för att anpassa källsidans gräns till målets gräns. Slutligen används en målspecifik dekoder för att generera det reaktiva målansiktet. Tack vare den effektiva och pålitliga gränsbaserade överföringen kan vår metod utföra fotorealistisk ansiktsreagens. Dessutom är ReenactGAN tilltalande genom att hela reenactment processen är rent feed-forward, och därmed kan reenactment processen köras i realtid (30 FPS på en GTX 1080 GPU). Datauppsättning och modell är allmänt tillgängliga på vår projektsida †.
I REF föreslogs en latent gränsrymd och gränstransformator.
ReenactGAN: Learning to Reenact Faces via Boundary Transfer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}