Vi föreslår en hierarkisk strategi för att göra långsiktiga förutsägelser om framtida ramar. För att undvika inneboende kompounderande fel i rekursiva pixelnivåprognoser, föreslår vi att först uppskatta högnivåstrukturen i inmatningsramarna, sedan förutsäga hur den strukturen utvecklas i framtiden, och slutligen genom att observera en enda ram från det förflutna och den förutsagda högnivåstrukturen, konstruerar vi framtidsramarna utan att behöva observera någon av pixelnivåprognoserna. Långsiktig video förutsägelse är svårt att utföra genom att regelbundet observera de förutsagda ramar eftersom de små felen i pixel utrymme exponentiellt förstärka som förutsägelser görs djupare in i framtiden. Vårt tillvägagångssätt förhindrar pixel-nivå felutbredning från att hända genom att ta bort behovet av att observera de förutsagda ramar. Vår modell är byggd med en kombination av LSTM och analog-baserade encoder-dekoder konvolutionella neurala nätverk, som självständigt förutsäga videostrukturen och generera framtida ramar, respektive. I experiment, vår modell utvärderas på Human3.6M och Penn Action dataset om uppgiften att långsiktiga pixel-nivå video förutsägelse av människor utför åtgärder och visar betydligt bättre resultat än den senaste tekniken.
REF föreslår en hierarkisk modell som först genererar hög nivå struktur av en video och sedan genererar pixlar beroende på hög nivå struktur.
Learning to Generate Long-term Future via Hierarchical Prediction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}