Varje leende är unikt: en person ler säkert på olika sätt (t.ex. att stänga/öppna ögonen eller munnen). Med tanke på en ingång bild av ett neutralt ansikte, kan vi generera flera leende videor med distinkta egenskaper? För att ta itu med detta en-till-många video generation problem, föreslår vi en ny djupinlärning arkitektur som heter Conditional Multi-Mode Network (CMM-Net). För att bättre koda dynamiken i ansiktsuttryck, CMM-Net utnyttjar uttryckligen ansikts landmärken för att generera leende sekvenser. Speciellt, en variationell auto-encoder används för att lära sig en ansikts landmärke inbäddning. Denna enda inbäddning utnyttjas sedan av ett villkorat återkommande nätverk som genererar en milstolpe inbäddningssekvens som är beroende av ett specifikt uttryck (t.ex. spontant leende). Därefter, de genererade landmärke inbäddningar matas in i en flerstegs återkommande landmärke generator, producerar en uppsättning av landmärken sekvenser fortfarande förknippas med den givna leende klassen men tydligt skiljer sig från varandra. Slutligen, dessa landmärken sekvenser översätts till ansikte videor. Våra experimentella resultat visar effektiviteten i vårt CMM-Net för att generera realistiska videor av flera leende uttryck.
I REF, Wei et al. utnyttjade ansiktsmärken för att generera leende videor.
Every Smile is Unique: Landmark-Guided Diverse Smile Generation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}