Vi presenterar Video Ladder Network (VLN) för att effektivt generera framtida videoramar. VLN är en neural kodare-dekoder modell förstärkt på alla lager genom både återkommande och feedforward laterala anslutningar. Vid varje lager bildar dessa anslutningar ett lateralt återkommande restblock, där feedflow-anslutningen representerar en överhoppsanslutning och den återkommande anslutningen representerar restvärdet. Tack vare de återkommande kopplingarna kan dekodern utnyttja tidssammanfattningar som genereras från alla lager av kodaren. På så sätt befrias det översta lagret från trycket från modellering av rumsliga och tidsmässiga detaljer på lägre nivå. Dessutom utökar vi den grundläggande versionen av VLN att införliva ResNet-stil restblock i kodaren och dekoder, som bidrar till att förbättra prognosresultaten. VLN är utbildad i självövervakad regim på Moving MNIST dataset, uppnå konkurrenskraftiga resultat samtidigt ha mycket enkel struktur och ge snabb slutledning.
I REF placeras de återkommande anslutningarna (från tid t - 1 till tid t) i de laterala kopplingarna mellan kodaren och dekodern.
Video Ladder Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}