Vi utnyttjar stora mängder omärkt video för att lära oss en modell av scendynamik för båda videoigenkänningsuppgifter (t.ex. Åtgärdsklassificering) och uppgifter för videogenerering (t.ex. framtida förutsägelser). Vi föreslår ett generativt kontradiktoriskt nätverk för video med en spatio-temporal konvolutionell arkitektur som urskiljer scenens förgrund från bakgrunden. Experiment tyder på att denna modell kan generera små videor upp till en sekund med full bildhastighet bättre än enkla baslinjer, och vi visar dess nytta för att förutsäga rimliga framtider av statiska bilder. Dessutom visar experiment och visualiseringar modellen internt lär sig användbara funktioner för att känna igen åtgärder med minimal övervakning, vilket tyder på scendynamik är en lovande signal för representationsinlärning. Vi tror att generativa videomodeller kan påverka många tillämpningar i video förståelse och simulering.
Vondrick m.fl. REF föreslår en GAN för videor, även med en spatio-temporal convolutional arkitektur som löses upp förgrund och bakgrund för att generera realistiska ramar.
Generating Videos with Scene Dynamics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}