....................................... Vi föreslår en ny textbaserad redigeringsmetod för tal-huvud-video. Med en redigerad utskrift producerar vårt tillvägagångssätt en realistisk utgångsvideo där dialogen med talaren har ändrats och den resulterande videon upprätthåller ett sömlöst audiovisuellt flöde (dvs. Inga hoppklipp). Att redigera video med talhuvud för att ändra talinnehållet eller ta bort fyllnadsord är en utmaning. Vi föreslår en ny metod för att redigera tal-huvud-video baserat på dess utskrift för att producera en realistisk utgång video där dialogen med talaren har modifierats, samtidigt som ett sömlöst ljud-visuellt flöde (dvs.. Inga hoppklipp). Vår metod antecknar automatiskt en input talk-head video med fonem, viseem, 3D ansikte pose och geometri, reflektion, uttryck och scenbelysning per ram. För att redigera en video behöver användaren bara redigera utskriften, och en optimeringsstrategi väljer sedan segment av indata corpus som basmaterial. De kommenterade parametrarna som motsvarar de valda segmenten sys sömlöst ihop och används för att producera en mellanliggande videorepresentation där den nedre halvan av ansiktet återges med en parametrisk modell. Slutligen, en återkommande video generation nätverk omvandlar denna representation till en fotorealistisk video som matchar den redigerade utskriften. Vi visar en författares adresser: Ohad Fried, Stanford University; Ayush Tewari, Max Planck Institute for Informatics; Michael Zollhöfer, Stanford University; Adam Finkelstein, Princeton University; Eli Shechtman, Adobe; Dan B Goldman; Kyle Genova, Princeton University; Zeyu Jin, Adobe; Christian Theobalt, Max Planck Institute for Informatics; Maneeesh Agrawala, Stanford University. Tillstånd att göra digitala eller papperskopior av hela eller delar av detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. Upphovsrätt till delar av detta verk som ägs av andra än upphovsmannen måste hedras. Abstraktering med kredit är tillåten. För att kopiera på annat sätt, eller återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. Begär tillstånd från authoritys@acm.org. © 2019 Copyright som innehas av ägaren/författarna. Utgivningsrättigheter som är licensierade till ACM. 0730-0301/2019/7-ART68 $15.00 https://doi.org/10.1145/3306346.3323028 stor variation av redigeringar, såsom tillägg, borttagning och ändring av ord, samt övertygande språköversättning och fullständig mening syntes.
Mer nyligen, Fried et al. I REF visades en metod för att producera realistiska videor där talarens ursprungliga dialog har ändrats.
Text-based editing of talking-head video
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}