Vårt mål är att förutsäga framtida videoramar med en sekvens av inmatningsramar. Trots stora mängder videodata är detta fortfarande en utmanande uppgift på grund av videoramarnas höga dimensionalitet. Vi tar itu med denna utmaning genom att föreslå Decompositional Disentangled Predictive Auto-Encoder (DDPAE), ett ramverk som kombinerar strukturerade probabilistiska modeller och djupa nätverk för att automatiskt (i) sönderdela den högdimensionella video som vi strävar efter att förutsäga i komponenter, och (ii) lösgöra varje komponent för att ha lågdimensionell temporal dynamik som är lättare att förutsäga. Avgörande, med en lämpligt specificerad generativ modell av videoramar, vår DDPAE kan lära sig både latent nedbrytning och upplösning utan uttrycklig övervakning. För Moving MNIST dataset, visar vi att DDPAE kan återställa de underliggande komponenterna (individuella siffror) och disentangling (utseende och plats) som vi intuitivt skulle göra. Vi visar vidare att DDPAE kan appliceras på Bouncing Balls dataset med komplexa interaktioner mellan flera objekt för att förutsäga videoramen direkt från pixlarna och återställa fysiska tillstånd utan uttrycklig övervakning.
Hsieh m.fl. I REF föreslogs en ram för auto-encoder, som kombinerar strukturerade probabilistiska modeller och djupa nätverk för att lösa problem.
Learning to Decompose and Disentangle Representations for Video Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}