Förmågan att förutsäga och därför förutse framtiden är ett viktigt attribut för intelligens. Det är också av yttersta vikt i realtidssystem, t.ex. inom robotteknik eller autonom körning, som är beroende av visuell scenförståelse för beslutsfattande. Medan förutsägelse av råa RGB pixelvärden i framtida videoramar har studerats i tidigare arbete, här introducerar vi den nya uppgiften att förutsäga semantiska segmenteringar av framtida ramar. Med tanke på en sekvens av videoramar är vårt mål att förutsäga segmenteringskartor över ännu inte observerade videoramar som ligger upp till en sekund eller längre i framtiden. Vi utvecklar ett autoregressivt konvolutionellt neuralt nätverk som lär sig att iterativt generera flera ramar. Våra resultat på Cityscapes dataset visar att det är betydligt bättre att direkt förutsäga framtida segmenteringar än att förutsäga och sedan segmentera framtida RGB-ramar. Förutsägelseresultat upp till en halv sekund i framtiden är visuellt övertygande och mycket mer exakta än de vid en baslinje baserad på varpande semantiska segmenteringar med hjälp av optiskt flöde.
Luc och Al. REF introducerade ytterligare ett autoregressivt konvolutionellt neuralt nätverk som utbildas för att iterativt generera flera framtida ramar.
Predicting Deeper into the Future of Semantic Segmentation
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}