Vi studerar problemet med video-till-video syntes, vars mål är att lära sig en kartfunktion från en indatakälla video (t.ex. en sekvens av semantiska segmentering masker) till en utgående fotorealistisk video som exakt avbildar innehållet i källvideon. Medan dess bildmotsvarighet, bild-till-bild översättningsproblem, är ett populärt ämne, video-till-video syntes problemet är mindre utforskad i litteraturen. Utan att modellera temporal dynamik, direkt tillämpa befintliga bildsyntes närmar sig en inmatningsvideo ofta resulterar i temporalt inkonsekventa videor av låg visuell kvalitet. I detta dokument föreslår vi en metod för video-till-videosyntes inom ramen för det generativa kontradiktoriska lärandet. Genom noggrant utformade generatorer och discriminatorer, tillsammans med ett spatio-temporärt kontradiktoriskt mål, uppnår vi högupplösta, fotorealistiska, tidssammanhängande videoresultat på en mängd olika indataformat inklusive segmenteringsmasker, skisser och poser. Experiment på flera referensvärden visar fördelen med vår metod jämfört med starka basvärden. I synnerhet, vår modell är kapabel att syntetisera 2K upplösning videos av gatuscener upp till 30 sekunder lång, vilket avsevärt avancerar state-of-the-art av video syntes. Slutligen tillämpar vi vår metod för framtida video förutsägelse, överträffar flera konkurrerande system. Kod, modeller och fler resultat finns tillgängliga på vår hemsida.
I synnerhet är REF ett av de tidiga försöken att ta itu med video-till-video översättning, som integrerar en spatio-temporal kontraversarial mål i villkorliga GANs.
Video-to-Video Synthesis
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}