Abstrakt. Korsmodalitetsgenerering är ett framväxande ämne som syftar till att syntetisera data i en modalitet baserad på information i en annan modalitet. I detta dokument anser vi att en uppgift av sådan: med tanke på ett godtyckligt ljudtal och en läppbild av godtycklig målidentitet, generera syntetiserade läpprörelser av målidentiteten som säger talet. För att prestera bra i denna uppgift, kräver det oundvikligen en modell att inte bara överväga bibehållandet av målidentitet, foto-realistisk syntetiserade bilder, konsistens och smidighet av läppbilder i en sekvens, men ännu viktigare, lära sig korrelationer mellan ljudtal och läpprörelser. För att lösa de kollektiva problemen utforskar vi den bästa modelleringen av de audiovisuella sambanden vid uppbyggnad och utbildning av ett nätverk för generator för läpprörelse. Specifikt, vi utformar en metod för att smälta ljud och bild inbäddningar för att generera flera läppbilder på en gång och föreslå en ny korrelation förlust för att synkronisera läppförändringar och talförändringar. Vår slutliga modell använder en kombination av fyra förluster för en omfattande överväga att generera läpprörelser; den är tränad i ett end-to-end mode och är robust att läpp former, se vinklar och olika ansiktsdrag. Tankeväckande experiment på tre datauppsättningar som sträcker sig från labbinspelade till läppar i det vilda visar att vår modell avsevärt överträffar andra toppmoderna metoder som utvidgas till denna uppgift.
Chen och Al. REF korrelerar ljud- och bildrörelse för att syntetisera läpprörelse av godtyckliga identiteter.
Lip Movements Generation at a Glance
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}