Visuella signaler i en video kan delas in i innehåll och rörelse. Medan innehållet anger vilka objekt som finns i videon, beskriver rörelse deras dynamik. Baserat på detta tidigare föreslår vi ramverket Motion and Content decomposed Generative Adversarial Network (MoCoGAN) för videogenerering. Det föreslagna ramverket genererar en video genom att kartlägga en sekvens av slumpmässiga vektorer till en sekvens av videoramar. Varje slumpmässig vektor består av en innehållsdel och en rörelsedel. Medan innehållet är fast, den rörelse delen realiseras som en stokastisk process. För att lära sig rörelse och innehållsnedbrytning på ett oövervakat sätt introducerar vi ett nytt kontradiktoriskt inlärningsprogram som utnyttjar både bild- och videodiskriminatorer. Omfattande experimentella resultat på flera utmanande datauppsättningar med kvalitativ och kvantitativ jämförelse med de senaste metoderna, verifiera effektiviteten i det föreslagna ramverket. Dessutom visar vi att MoCoGAN tillåter en att generera videor med samma innehåll men olika rörelse samt videor med olika innehåll och samma rörelse. Vår kod finns på https://github.com/sergeytulyakov/mocogan.
MoCoGAN REF löser upp latent utrymme till rörelse och innehåll subrymder och använder en återkommande neurala nätverk för att generera en sekvens av rörelsekoder.
MoCoGAN: Decomposing Motion and Content for Video Generation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}