Figur 1: Vårt automatiserade tillvägagångssätt kan i realtid omvandla det neutrala ansiktsuttrycket i indatavideo (överst) till glatt uttryck (underst). Detta dokument beskriver en ny realtid end-to-end system för ansiktsuttryck omvandling, utan behov av någon körkälla. Dess kärnidé är att direkt generera önskade och fotorealistiska ansiktsuttryck ovanpå indata monokulära RGB-video. Speciellt, en oparad lärande ram utvecklas för att lära sig kartläggningen mellan två ansiktsuttryck i ansiktet mixshape utrymme. Sedan omvandlar den automatiskt källuttrycket i ett indatavideoklipp till ett specificerat måluttryck genom kombinationen av automatiserad 3D-ansiktskonstruktion, den lärda dubbelriktade uttryckskartläggningen och automatiserad läppkorrigering. Den kan tillämpas på nya användare utan ytterligare utbildning. Dess effektivitet visas genom många experiment på ansikten från live- och onlinevideo, med olika identiteter, åldrar, tal och uttryck.
I REF utvecklades ett oparerat inlärningsramverk för att lära sig kartläggningen mellan två ansiktsuttryck i ansiktets blandningsform.
Real‐Time Facial Expression Transformation for Monocular RGB Video
{'venue': 'Comput. Graph. Forum', 'journal': 'Comput. Graph. Forum', 'mag_field_of_study': ['Computer Science']}