Abstrakt. Nya framsteg i Generativa Adversarial Networks (Gans) har visat imponerande resultat för uppgiften ansiktsuttryck syntes. Den mest framgångsrika arkitekturen är StarGAN [4], som förhåller sig till GAN:s generationsprocess med bilder av en specifik domän, nämligen en uppsättning bilder av personer som delar samma uttryck. Även om detta tillvägagångssätt är effektivt, kan det endast generera ett diskret antal uttryck, som bestäms av innehållet i datasetet. För att ta itu med denna begränsning introducerar vi i detta dokument ett nytt GAN konditioneringssystem baserat på Action Units (AU) annoteringar, som i ett kontinuerligt mångfald beskriver de anatomiska ansiktsrörelser som definierar ett mänskligt uttryck. Vårt tillvägagångssätt gör det möjligt att kontrollera omfattningen av aktivering av varje AU och kombinera flera av dem. Dessutom föreslår vi en helt oövervakad strategi för att träna modellen, som bara kräver bilder kommenterade med sina aktiverade AU, och utnyttja uppmärksamhetsmekanismer som gör vårt nätverk robust för att ändra bakgrunder och ljusförhållanden. Omfattande utvärdering visar att vår strategi går utöver konkurrerande villkorade generatorer både i förmågan att syntetisera ett mycket bredare spektrum av uttryck som styrs av anatomiskt genomförbara muskelrörelser, som i kapacitet att hantera bilder i det vilda.
Nyligen Pumarola et al. REF presenterade AU-baserad GAN-modell för syntetisk ansiktsanimering, vilket gör det möjligt att kontrollera omfattningen av aktiveringarna av varje AU.
GANimation: Anatomically-aware Facial Animation from a Single Image
{'venue': 'Computer vision - ECCV ... : ... European Conference on Computer Vision : proceedings. European Conference on Computer Vision', 'journal': 'Computer vision - ECCV ... : ... European Conference on Computer Vision : proceedings. European Conference on Computer Vision', 'mag_field_of_study': ['Computer Science', 'Medicine']}