Vi studerar problemet med att syntetisera ett antal troliga framtidsramar från en enda ingångsbild. I motsats till traditionella metoder, som har hanterat detta problem på ett deterministiskt eller icke-parametriskt sätt, föreslår vi ett nytt tillvägagångssätt som modellerar framtida ramar på ett probabilistiskt sätt. Vår probabilistiska modell gör det möjligt för oss att ta prover och syntetisera många möjliga framtidsramar från en enda ingångsbild. Framtida ramsyntes är utmanande, eftersom det handlar om bild- och rörelseförståelse på låg och hög nivå. Vi föreslår en ny nätverksstruktur, nämligen ett Cross Convolutional Network för att hjälpa till att syntetisera framtida ramar; denna nätverksstruktur kodar bild- och rörelseinformation som funktionskartor respektive konvolutionskärnor. I experiment, vår modell fungerar bra på syntetiska data, såsom 2D former och animerade spel sprites, samt på realwold videor. Vi visar också att vår modell kan tillämpas på uppgifter som visuell analogi-making, och presentera en analys av de lärda nätverks representationer.
Xue m.fl. I REF föreslogs det tvärkonvolutionella nätet, en nätverksstruktur för framtida ramsyntes baserad på en enda ingångsram.
Visual Dynamics: Probabilistic Future Frame Synthesis via Cross Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}