....................................... En maskininlärning metod används för att lära en regressionsfunktion mappa phoneme etiketter till talanimering. Vårt tillvägagångssätt genererar en kontinuerlig, naturlig talanimering för en referensansiktsparameterisering som kan riktas mot ansiktet på alla datorgenererade karaktärer. Vi introducerar en enkel och effektiv djupinlärningsmetod för att automatiskt generera naturlig talanimering som synkroniserar till inmatningstal. Vår strategi använder en skjutfönster prediktor som lär sig godtyckliga icke-linjära kartläggningar från phoneme etikett ingångssekvenser till munrörelser på ett sätt som exakt fångar naturlig rörelse och visuella koarticulation efects. Vår djupt lärande tillvägagångssätt har flera attraktiva egenskaper: det körs i realtid, kräver minimal parameterinställning, generaliserar väl till nya ingång talsekvenser, är lätt redigeras för att skapa stiliserade och emotionella tal, och är kompatibel med befintliga animering retargeting metoder. Ett viktigt fokus i vårt arbete är att utveckla ett effektivt tillvägagångssätt för talanimering som enkelt kan integreras i befintliga produktionspipelines. Vi ger en detaljerad beskrivning av vår end-to-end strategi, inklusive beslut maskininlärning design. Generaliserade tal animation resultat visas över ett brett spektrum av animation klipp på en mängd olika tecken och röster, inklusive sång och främmande språk in. Vårt tillvägagångssätt kan också generera talanimering på begäran i realtid från användarens talinmatning.
REF använder ett skjutfönster för att animera en parametrisk ansiktsmodell från phoneme-etiketter.
A deep learning approach for generalized speech animation
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}