Vi utformar en kaskad GAN metod för att generera talande ansikte video, som är robust till olika ansiktsformer, visa vinklar, ansiktsegenskaper, och bullriga ljudförhållanden. Istället för att lära sig en direkt kartläggning från ljud till videoramar, föreslår vi först att överföra ljud till hög nivå struktur, dvs ansiktet landmärken, och sedan att generera videoramar konditionerade på landmärken. Jämfört med en direkt audio-to-image strategi, vår kaskad strategi undviker passande falska korrelationer mellan audiovisuella signaler som är irrelevanta för talets innehåll. Vi människor är känsliga för tidsmässiga diskontinuiteter och subtila artefakter i video. För att undvika dessa pixeljitting problem och för att driva nätverket för att fokusera på audiovisuella-korrelerade regioner, föreslår vi en ny dynamisk justerbar pixel-wise förlust med en uppmärksamhetsmekanism. För att skapa en skarpare bild med välsynkroniserade ansiktsrörelser föreslår vi dessutom en ny regressionsbaserad discriminatorstruktur, som beaktar sekvensnivåinformation tillsammans med raminformation. Tankeväckande experiment på flera dataset och realworld prover visar betydligt bättre resultat som erhållits med vår metod än de senaste metoderna i både kvantitativa och kvalitativa jämförelser.
Chen och Al. REF överförde först ljudet till ansiktsmarkeringar och generera sedan videoramar konditionerade på landmärkena.
Hierarchical Cross-Modal Talking Face Generationwith Dynamic Pixel-Wise Loss
{'venue': 'Published in CVPR 2019', 'journal': None, 'mag_field_of_study': ['Computer Science']}