: Face swaping och reenactment. Vänster: Källansiktet byttes ut mot målet. Höger: Målvideo som används för att styra ansiktsuttrycken som visas i källbilden. I båda fallen visar sig våra resultat i mitten. För mer information besök vår webbplats: https://nirkin.com/fsgan. Vi presenterar Face Swapping GAN (FSGAN) för ansiktsbyte och reenactment. Till skillnad från tidigare arbete, FSGAN är ämne agnostic och kan tillämpas på par av ansikten utan att kräva utbildning på dessa ansikten. I detta syfte beskriver vi ett antal tekniska bidrag. Vi härleder en ny återkommande neurala nätverk (RNN)-baserade tillvägagångssätt för ansikte reenactment som justerar för både pose och uttryck variationer och kan tillämpas på en enda bild eller en videosekvens. För videosekvenser introducerar vi kontinuerlig interpolering av ansiktsvyer baserade på reenactment, Delaunay Triangulation och barycentriska koordinater. Ocluded ansikte regioner hanteras av ett ansikte slutförande nätverk. Slutligen använder vi ett ansikte blandning nätverk för sömlös blandning av de två ansikten samtidigt som målet hudfärg och ljusförhållanden. Detta nätverk använder en ny Poisson blandning förlust som kombinerar Poisson optimering med perceptual förlust. Vi jämför vår strategi med befintliga toppmoderna system och visar att våra resultat är både kvalitativt och kvantitativt överlägsna.
Nyligen, FSGAN REF utför ansikte reenactment och ansikte byta tillsammans.
FSGAN: Subject Agnostic Face Swapping and Reenactment
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}