Vi presenterar en strategi för pixel-nivå framtida förutsägelse med tanke på en ingång bild av en scen. Vi observerar att en scen består av distinkta väsen som genomgår rörelse och presenterar ett tillvägagångssätt som operationaliserar denna insikt. Vi förutspår implicit framtida tillstånd av oberoende enheter medan resonemang om deras interaktioner, och komponera framtida videoramar med hjälp av dessa förutsagda tillstånd. Vi övervinner den inneboende multimodaliteten av uppgiften med hjälp av en global bana-nivå latent slumpmässig variabel, och visar att detta gör att vi kan prova olika och rimliga framtider. Vi validerar empiriskt vårt tillvägagångssätt mot alternativa representationer och sätt att införliva multimodalitet. Vi undersöker två dataset, en som består av staplade objekt som kan falla, och den andra som innehåller videor av människor som utför aktiviteter i ett gym, och visar att vår strategi tillåter realistiska stokastiska video förutsägelser över dessa olika inställningar. Se projektets hemsida för videoprognoser.
- Ja, det är jag. I REF föreslogs en framtidsprognos på pixelnivå med en enda bild med förutsägelse om framtida tillstånd för oberoende enheter.
Compositional Video Prediction
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}