Vi utnyttjar stora mängder omärkt video för att lära oss en modell av scendynamik för båda videoigenkänningsuppgifter (t.ex. Åtgärdsklassificering) och uppgifter för videogenerering (t.ex. framtida förutsägelser). Vi föreslår ett generativt kontradiktoriskt nätverk för video med en spatio-temporal konvolutionell arkitektur som urskiljer scenens förgrund från bakgrunden. Experiment tyder på att denna modell kan generera små videor upp till en sekund med full bildhastighet bättre än enkla baslinjer, och vi visar dess nytta för att förutsäga rimliga framtider av statiska bilder. Dessutom visar experiment och visualiseringar modellen internt lär sig användbara funktioner för att känna igen åtgärder med minimal övervakning, vilket tyder på scendynamik är en lovande signal för representationsinlärning. Vi tror att generativa videomodeller kan påverka många tillämpningar i video förståelse och simulering.
Vondrick m.fl. använde en Generatie Adversarial Network för att lära sig en generativ modell för video REF.
Generating Videos with Scene Dynamics
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}