Nuvarande metoder för videoprognoser försöker generera videor direkt i pixelutrymme med hjälp av Generativa Adversarial Networks (Gans) eller Varial Autoencoders (VAEs). Men eftersom dessa metoder försöker modellera alla strukturer och scendynamik på en gång, skapar de ofta otolkbara resultat i oöverskådliga miljöer. Vår insikt är att prognoser först måste göras på en högre abstraktionsnivå. Specifikt utnyttjar vi mänskliga pose detektorer som en fri källa för övervakning och bryter video prognos problem i två diskreta steg. Först modellerar vi explicit den höga nivån av aktiva objekt i scenen (människor) och använder en VEA för att modellera möjliga framtida rörelser av människor i pose utrymme. Vi använder sedan framtiden poser genereras som villkorlig information till en GAN för att förutsäga framtida ramar för videon i pixel utrymme. Genom att använda det strukturerade utrymmet av pose som en intermediär representation, vi kringgår de problem som GANs har i att generera video pixlar direkt. Vi visar genom kvantitativ och kvalitativ utvärdering att vår metod överträffar toppmoderna metoder för videoprognoser.
I REF föreslås en metod där framtida mänskliga pose förutsägs med hjälp av ett stokastiskt nätverk och posen sedan används för att generera framtida ramar.
The Pose Knows: Video Forecasting by Generating Pose Futures
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}