I detta dokument föreslår vi en ny metod för att automatiskt generera en videosekvens från en enda bild och en användare med rörelseslag. Skapa en videosekvens baserad på en enda ingångsbild har många tillämpningar i visuellt innehåll skapande, men det är tröttsamt och tidskrävande att producera även för erfarna konstnärer. Automatiska metoder har föreslagits för att ta itu med detta problem, men de flesta befintliga video förutsägelser metoder kräver flera inmatningsramar. Dessutom har genererade sekvenser begränsad variation eftersom utdata oftast bestäms av inmatningsramarna, utan att användaren kan ge ytterligare begränsningar på resultatet. I vår teknik kan användarna styra den genererade animeringen med hjälp av ett skissdrag på en enda ingångsbild. Vi tränar vårt system så att det animerade föremålets bana följer stroken, vilket gör det både mer flexibelt och mer kontrollerbart. Från en enda bild kan användare generera en mängd olika videosekvenser som motsvarar olika skissingångar. Vår metod är det första systemet som, med tanke på en enda ram och en rörelse stroke, kan generera animationer genom att regelbundet generera videor ram för ram. En viktig fördel med vår arkitekturs återkommande karaktär är att den underlättar syntesen av ett godtyckligt antal framtagna ramar. Vår arkitektur använder en autoencoder och ett generativt kontrarioralt nätverk (GAN) för att generera skarpa texturbilder, och vi använder en annan GAN för att garantera att övergångar mellan ramar är realistiska och smidiga. Vi demonstrerar effektiviteten i vårt förhållningssätt till MNIST, KTH och Human 3.6M dataset.
Hu m.fl. REF använder en bild och en rörelse stroke för att syntetisera videon.
Video Synthesis from a Single Image and Motion Stroke
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}