Förmågan att förutsäga framtiden är viktig för intelligenta system, t.ex. Autonoma fordon och robotar att planera tidigt och fatta beslut i enlighet därmed. Framtida scentolkning och optisk flödesuppskattning är två viktiga uppgifter som hjälper agenter att bättre förstå sina miljöer eftersom de förra ger tät semantisk information, dvs. vilka objekt som kommer att finnas och var de kommer att visas, medan de senare ger tät rörelseinformation, dvs. hur objekten kommer att röra sig. I detta dokument föreslår vi en ny modell för att samtidigt förutsäga scentolkning och optiskt flöde i oobserverade framtida videoramar. Så vitt vi vet är detta det första försöket att gemensamt förutsäga scentolkning och rörelsedynamik. Scentolkning möjliggör särskilt strukturerad rörelseförutsägelse genom att bryta ner optiskt flöde i olika grupper medan optisk flödesuppskattning ger tillförlitlig pixelvis korrespondens till scentolkning. Genom att utnyttja detta ömsesidigt fördelaktiga förhållande visar vår modell betydligt bättre tolknings- och rörelseförutsägelseresultat jämfört med väletablerade baslinjer och individuella förutsägelsemodeller på det storskaliga Cityscapes datasetet. Dessutom visar vi också att vår modell kan användas för att förutsäga styrvinkeln hos fordonen, vilket ytterligare verifierar vår modells förmåga att lära sig latenta representationer av scendynamiken.
De utökar sitt arbete REF ) och föreslår samtidig scentolkning och optiskt flöde för framtida videoramar.
Predicting Scene Parsing and Motion Dynamics in the Future
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}