Abstrakt. Detta papper presenterar Generative Adversarial Talking Head (GATH), en ny djup generativ neurala nätverk som möjliggör helt automatisk ansiktsuttryck syntes av en godtycklig porträtt med kontinuerlig åtgärdsenhet (AU) koefficienter. Specifikt, vår modell direkt manipulerar bild pixlar för att göra det osynliga objektet i stillbilden uttrycker olika känslor som styrs av värden av ansikts AU koefficienter, samtidigt som hon behåller sina personliga egenskaper, såsom ansiktsgeometri, hudfärg och frisyr, samt den ursprungliga omgivande bakgrunden. I motsats till tidigare arbete, GATH är rent datadrivna och det kräver varken en statistisk ansiktsmodell eller bildbehandling knep för att anta ansiktsdeformationer. Dessutom är vår modell tränad från oparade data, där indatabilden, med sin extra identitetsmärkning hämtad från överflöd av stillbilder i det vilda, och målramen är från olika personer. För att på ett effektivt sätt kunna lära sig en sådan modell föreslår vi en ny svagt övervakad kontradiktorisk inlärningsram som består av en generator, en diskriminator, en klassiator och en åtgärdsenhetsskattare. Vårt arbete ger upphov till mall-och-mål-fri uttryck redigering, där fortfarande ansikten kan utan ansträngning animeras med godtycklig AU koefficienter som tillhandahålls av användaren.
I Ref föreslogs en svagt övervakad kontradiktorisk inlärningsram för automatisk ansiktsuttryckssyntes baserad på kontinuerliga åtgärdsenhetskoefficienter.
Generative Adversarial Talking Head: Bringing Portraits to Life with a Weakly Supervised Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}