Abstrakt. Med tanke på en godtycklig ansiktsbild och ett godtyckligt talklipp försöker det föreslagna arbetet generera den talande ansiktsvideon med exakt läppsynkronisering samtidigt som man upprätthåller en smidig övergång av både läpp- och ansiktsrörelser över hela videoklippet. Befintliga verk antingen inte anser temporal beroende av ansiktsbilder över olika videoramar vilket lätt ger märkbara / abrupt ansikts- och läpprörelser eller är endast begränsade till generering av talande ansikte video för en viss person därför saknar generalisering kapacitet. Vi föreslår ett nytt villkorligt videogenereringsnätverk där ljudingången behandlas som ett villkor för det återkommande kontradiktoriska nätverket så att tidsberoende inkorporeras för att förverkliga smidig övergång för läpp- och ansiktsrörelser. Dessutom använder vi ett multi-task adversarial utbildningsprogram i samband med videogenerering för att förbättra både fotorealismen och noggrannheten för läppsynkronisering. Slutligen, baserat på phoneme distribution information extraheras från ljudklippet, utvecklar vi en urvalsmetod som effektivt minskar storleken på utbildningen dataset utan att offra kvaliteten på den genererade videon. Omfattande experiment på både kontrollerade och okontrollerade dataset visar överlägsenheten av den föreslagna metoden när det gäller visuell kvalitet, läppsynkronisering noggrannhet och smidig övergång av läpp- och ansiktsrörelser, jämfört med den senaste tekniken.
Vissa verk tog itu med problemet med att generera talande ansikten baserat på en ingång ansikte bild och en ljudsignal REF, ).
Talking Face Generation by Conditional Recurrent Adversarial Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}