Abstract-A talstyrd syntetiskt talansikte i realtid ger ett effektivt multimodalt kommunikationsgränssnitt i distribuerade samarbetsmiljöer. Icke-verbala gester som ansiktsuttryck är viktiga för mänsklig kommunikation och bör beaktas av taldrivna ansiktsanimeringssystem. I detta dokument presenterar vi ett ramverk som systematiskt behandlar modellering av ansiktsdeformation, automatisk ansiktsrörelseanalys och talbaserad ansiktsanimering i realtid med uttryck med hjälp av neurala nätverk. Baserat på denna ram lär vi oss en kvantitativ visuell representation av ansiktsdeformationerna, som kallas rörelseenheterna (MU). En ansiktsdeformation kan approximeras genom en linjär kombination av de MEs viktade med ME parametrar (MUPs). Vi utvecklar en MU-baserad ansiktsrörelsespårningsalgoritm som används för att samla in en audiovisuell utbildningsdatabas. Sedan konstruerar vi en realtids audio-till-MUP kartläggning genom att träna en uppsättning neurala nätverk med hjälp av den insamlade audiovisuella utbildningsdatabasen. Den kvantitativa utvärderingen av kartläggningen visar hur effektivt det föreslagna tillvägagångssättet är. Med den föreslagna metoden utvecklar vi funktionaliteten i realtid taldriven ansiktsanimering med uttryck för iFACE-systemet [1]. Experimentella resultat visar att iFACE-systemets syntetiskt uttrycksfulla ansikte är jämförbart med ett verkligt ansikte när det gäller effekten av deras påverkan på den bimodala mänskliga känslouppfattningen.
Pengyu Hong et al Ref. gav ett avancerat synsätt på ett taldrivet syntetiskt talansikte i realtid ger ett effektivt multimodalt kommunikationsgränssnitt i distribuerade samarbetsmiljöer.
Real-time Speech-driven Face Animation with Expressions Using Neural Networks
{'venue': 'IEEE Trans. Neural Networks', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}