Att lära sig förutsäga framtida bilder från en videosekvens innebär att man konstruerar en intern representation som modellerar bildutvecklingen exakt, och därför i viss mån dess innehåll och dynamik. Det är därför pixel-rymd video förutsägelse kan ses som en lovande väg för oövervakad funktionsinlärning. Dessutom, medan optiskt flöde har varit ett mycket studerat problem i datorseende för en lång tid, framtida ram förutsägelse sällan närma sig. Ändå kan många vision program dra nytta av kunskapen om nästa bilder av videor, som inte kräver komplexiteten i att spåra varje pixel bana. I detta arbete utbildar vi ett konvolutionellt nätverk för att generera framtida ramar med tanke på en ingångssekvens. För att hantera de inneboende suddiga förutsägelser som erhålls från den standard Mean Squared Error (MSE) förlust funktion, föreslår vi tre olika och kompletterande funktioner lärande strategier: en flerskalig arkitektur, en kontradiktorisk utbildningsmetod, och en bild gradient skillnad förlust funktion. Vi jämför våra förutsägelser med olika publicerade resultat baserade på återkommande neurala nätverk på UCF101 datasetet.
Mathieu m.fl. REF lyckas generera tämligen skarpa ramar med hjälp av en flerskalig arkitektur, en kontradiktorisk träningsmetod och en funktion för att minska skillnaden i bildgradient.
Deep multi-scale video prediction beyond mean square error
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}