I detta dokument föreslår vi en generativ modell, Temporal Generative Adversarial Nets (TGAN), som kan lära sig en semantisk representation av omärkta videor, och kan generera videor. Till skillnad från befintliga Generativa Adversarial Nets (GAN)-baserade metoder som genererar videor med en enda generator som består av 3D-dekonvolutionella lager, utnyttjar vår modell två olika typer av generatorer: en tidsgenerator och en bildgenerator. Tidsgeneratorn tar en enda latent variabel som ingång och utgångar en uppsättning latenta variabler, som var och en motsvarar en bildram i en video. Bildgeneratorn omvandlar en uppsättning av sådana latenta variabler till en video. För att hantera instabilitet i utbildningen av GAN med sådana avancerade nätverk, antar vi en nyligen föreslagen modell, Wasserstein GAN, och föreslår en ny metod för att utbilda den stabilt på ett end-to-end sätt. De experimentella resultaten visar hur effektiva våra metoder är.
I videosyntesen delar REF syntesen mellan två generatorer, tidsgeneratorn som ger ut en latent variabel för varje ram och den rumsliga generator som genererar ramen från de latenta variablerna.
Temporal Generative Adversarial Nets with Singular Value Clipping
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}