Vi föreslår ett djupt neuralt nätverk för förutsägelse av framtida ramar i naturliga videosekvenser. För att effektivt hantera komplex utveckling av pixlar i videor, föreslår vi att bryta rörelsen och innehållet, två viktiga komponenter som genererar dynamik i videor. Vår modell är byggd på Encoder-Decoder Convolutional Neural Network och Convolutional LSTM för pixel-nivå förutsägelse, som självständigt fångar den rumsliga layouten av en bild och motsvarande temporal dynamik. Genom att självständigt modellera rörelse och innehåll minskar predikteringen av nästa ram till att omvandla de extraherade innehållsfunktionerna till nästa raminnehåll genom de identifierade rörelsefunktionerna, vilket förenklar uppgiften att förutsäga. Vår modell är end-to-end trainingbar över flera tidssteg, och lär sig naturligt att bryta ner rörelse och innehåll utan separat träning. Vi utvärderar den föreslagna nätverksarkitekturen på mänskliga aktivitetsvideor med hjälp av KTH, Weizmann action och UCF-101 datauppsättningar. Vi visar de senaste resultaten i jämförelse med de senaste tillvägagångssätten. Såvitt vi vet är detta den första end-to-end trainingable nätverksarkitekturen med rörelse- och innehållsseparation för att modellera den spatio-temporala dynamiken för pixel-nivå framtida förutsägelse i naturliga videor. * Detta arbete gjordes medan SH och XL besökte University of Michigan.
En metod för att separera bilderna i termer av rörelser och innehållet föreslogs REF.
Decomposing Motion and Content for Natural Video Sequence Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}