Att lära sig representera och generera videor från omärkta data är ett mycket utmanande problem. För att generera realistiska videor, är det viktigt inte bara att se till att utseendet på varje ram är verklig, men också för att säkerställa rimligheten av en video rörelse och konsekvens av ett videoutseende i tidsriktningen. Processen för videogenerering bör delas upp efter dessa inneboende svårigheter. I denna studie fokuserar vi på informationen om rörelse och utseende som två viktiga ortogonala komponenter i en video, och föreslår Flow-and-Texture-Generative Adversarial Networks (FTGAN) bestående av FlowGAN och TextureGAN. För att undvika en enorm notationskostnad måste vi utforska ett sätt att lära oss av omärkta data. Därför använder vi optiskt flöde som rörelseinformation för att generera videor. FlowGAN genererar optiskt flöde, som endast innehåller kant och rörelse av de videor som ska beger sig. Å andra sidan, Texture-GAN specialiserar sig på att ge en textur till optiskt flöde som genereras av FlowGAN. Detta hierarkiska tillvägagångssätt ger mer realistiska videor med rimlig rörelse och utseende konsekvens. Våra experiment visar att vår modell genererar mer rimliga rörelsevideor och också uppnår betydligt bättre prestanda för oövervakad åtgärdsklassificering jämfört med tidigare GAN-verk. Dessutom, eftersom vår modell genererar videor från två oberoende information, vår modell kan generera nya kombinationer av rörelse och attribut som inte ses i träningsdata, såsom en video där en person gör sit-up i en baseball mark.
I REF föreslås ett hierarkiskt videogenereringssystem: Flow and Texture GAN (FTGAN).
Hierarchical Video Generation from Orthogonal Information: Optical Flow and Texture
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}