Vi presenterar en metod för att generera en video av ett talande ansikte. Metoden tar som ingångar: (i) stillbilder av målansiktet, och (ii) ett ljudtal segment, och ger en video av målan ansikte läpp synkroniseras med ljudet. Metoden körs i realtid och är tillämplig på ansikten och ljud som inte ses vid träningstid. För att uppnå detta föreslår vi en kodare-dekoder CNN modell som använder en gemensam inbäddning av ansikte och ljud för att generera syntetiserade talande ansikte videoramar. Modellen är tränad på tiotals timmars omärkt video. Vi visar också resultat av omdubbning videos med hjälp av tal från en annan person. Figur 1: Speech2Vid-modellen genererar en video av ett talande ansikte, givet stillbilder av personen och ett talsegment. Modellen tar en bild av målansiktet och ett ljudsegment, och ger en video av målan ansikte läpp synkroniseras med ljudet. Observera att målansiktet inte behöver finnas i träningsdatasetet d.v.s. Talet2Vid är tillämpligt på osynliga bilder och tal.
Chung m.fl. REF lärde sig en gemensam inbäddning av ansikte och ljudsignal, och använda en kodare-dekoder CNN-modell för att generera talande ansikte video.
You said that?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}