Talande ansiktsgeneration syftar till att syntetisera en sekvens av ansiktsbilder som motsvarar givna talsemantik. Men när människor pratar är de subtila rörelserna i deras ansiktsregion vanligtvis en komplex kombination av subjektets inneboende utseende och även det extrinsiska tal som ska framföras. Befintliga verk fokuserar antingen på det förra, som konstruerar den specifika ansiktsutseendemodellen på ett enda ämne, eller det senare, som modellerar den identitetsagnostiska omvandlingen mellan läpprörelse och tal. I detta arbete integrerar vi båda aspekterna och möjliggör godtyckligt talande ansikte generation genom att lära sig disentranged audio-visuell representation. Vi antar att den talande ansiktssekvensen faktiskt är en sammansättning av både ämnesrelaterad information och talrelaterad information. Dessa två utrymmen löses sedan uttryckligen upp genom en ny associativ-andversariell träningsprocess. Den oupplösliga representationen har ytterligare en fördel som både ljud och video kan fungera som källan till talinformation för generation. Omfattande experiment visar att vårt föreslagna tillvägagångssätt kan generera realistiska talande ansiktssekvenser på godtyckliga ämnen med mycket tydligare läpprörelsemönster. Vi visar också den lärda audiovisuella representationen är mycket användbar för applikationer som automatisk läppavläsning och ljudvideo hämtning. Kod, modeller och videoresultat finns tillgängliga på vår hemsida: https://liuziwei7.github.io/projects/TalkingFace.
Zhou m.fl. I REF föreslogs en metod där både ljud och video kan fungera som ingång genom att lära sig gemensam audiovisuell representation.
Talking Face Generation by Adversarially Disentangled Audio-Visual Representation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}