Video förutsägelse syftar till att generera realistiska framtidsramar genom att lära dynamiska visuella mönster. En grundläggande utmaning är att hantera framtida osäkerhet: Hur ska en modell bete sig när det finns flera korrekta, lika sannolika framtid? Vi föreslår en Utseende-Motion Villkorlig GAN för att ta itu med denna utmaning. Vi tillhandahåller utseende och rörelseinformation som villkor som anger hur framtiden kan se ut, vilket minskar osäkerhetsnivån. Vår modell består av en generator, två discriminatorer som tar hand om utseende och rörelsevägar, och en perceptuell rankningsmodul som uppmuntrar videor av liknande förhållanden att se liknande ut. För att träna vår modell utvecklar vi ett nytt konditioneringssystem som består av olika kombinationer av utseende och rörelseförhållanden. Vi utvärderar vår modell med hjälp av ansiktsuttryck och mänskliga åtgärder dataset och rapporterar positiva resultat jämfört med befintliga metoder.
Junseok Jang m.fl. föreslog en utseende-motion villkorlig generativ kontrarioral nätverk i REF, som begränsar den genererade framtida video när det ges specifik villkorsinformation (utseende och rörelse).
Video Prediction with Appearance and Motion Conditions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}