Vårt mål är att isolera enskilda talare från multitalker simultant tal i videor. Befintliga verk inom detta område har fokuserat på att försöka skilja uttalanden från kända talare i kontrollerade miljöer. I det här dokumentet föreslår vi ett nätverk för ljud-visuell talförstärkning som kan separera en högtalares röst som ges läpp regioner i motsvarande video, genom att förutsäga både omfattningen och fasen av målsignalen. Metoden är tillämpbar på ohörda och osedda talare under träning och för oöverskådliga miljöer. Vi visar på starka kvantitativa och kvalitativa resultat som isolerar extremt utmanande verkliga exempel.
Vårt tidigare arbete REF föreslog en djup audio-visuell talförbättring nätverk som kan separera en högtalares röst ges läpp regioner i corre- Arkitekturen av den audio-visuella talförbättring nätverk: Det finns 2 ljudströmmar.
The Conversation: Deep Audio-Visual Speech Enhancement
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}