Framtida bild förutsägelse i videor är en lovande väg för oövervakad video representation lärande. Videoramar genereras naturligt av de inneboende pixelflöden från föregående ramar baserat på utseende och rörelsedynamik i videon. Befintliga metoder fokuserar dock på att direkt hallucinera pixelvärden, vilket resulterar i suddiga förutsägelser. I detta dokument utvecklar vi en dubbel rörelse Generative Adversarial Net (GAN) arkitektur, som lär sig att explicit genomdriva framtid-frame förutsägelser för att vara förenliga med pixel-wise flöden i videon genom en duallearning mekanism. Den primära framtid-frame förutsägelse och dubbla framtid-flöde förutsägelse bildar en sluten loop, vilket genererar informativa återkopplingssignaler till varandra för bättre video förutsägelse. För att göra både syntetiserade framtidsramar och flöden oskiljaktiga från verkligheten föreslås en dubbel kontradiktorisk utbildningsmetod för att säkerställa att framtidsprognosen kan hjälpa till att dra slutsatser om realistiska framtidsramar, medan framtidsprognosen i sin tur leder till realistiska optiska flöden. Vår dubbla rörelse GAN hanterar också naturlig rörelseosäkerhet i olika pixel platser med en ny probabilistisk rörelse kodare, som är baserad på variations autokodare. Omfattande experiment visar att den föreslagna dubbla rörelse GAN betydligt överträffar state-of-the-art metoder för att syntetisera nya videoramar och förutsäga framtida flöden. Vår modell generaliserar bra över olika visuella scener och visar överlägsenhet i oövervakad video representation lärande.
Slutligen, Liang et al. REF föreslog en GAN-arkitektur med dubbla rörelser som kombinerar ram- och flödesprognoser för att generera framtida ramar.
Dual Motion GAN for Future-Flow Embedded Video Prediction
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}