Mycket av den senaste forskningen har ägnats åt video förutsägelser och generering, men de flesta av de tidigare verken har visat endast begränsad framgång i att generera videor på kortsiktiga horisonter. Den hierarkiska video förutsägelsemetoden av Villegas et al. (2017b) är ett exempel på en state-of-the-art metod för långsiktig video förutsägelse, men deras metod är begränsad eftersom det kräver marksanning notation av hög nivå strukturer (t.ex. mänskliga gemensamma landmärken) vid träningstid. Vårt nätverk kodar indataramen, förutspår en hög nivå kodning in i framtiden, och sedan en dekoder med tillgång till den första ramen producerar den förutsagda bilden från den förutsagda kodning. Dekodern producerar också en mask som beskriver det förutsagda förgrundsobjektet (t.ex. person) som en biprodukt. Till skillnad från Villegas et al. (2017b) utvecklar vi en ny utbildningsmetod som tillsammans tränar kodaren, prediktorn och dekodern tillsammans utan övervakning på hög nivå; vi förbättrar ytterligare detta genom att använda en kontradiktorisk förlust i funktionsutrymmet för att träna prediktorn. Vår metod kan förutsäga ca 20 sekunder in i framtiden och ger bättre resultat jämfört med Denton och Fergus (2018) och Finn et al. (2016) om datasetet Human 3.6M.
Detta behandlas i REF, som föreslår en helt oövervakad metod som lär sig att förutsäga en hög nivå kodning in i framtiden.
Hierarchical Long-term Video Prediction without Supervision
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}