Vi föreslår en end-to-end inlärningsram för segmentering av generiska objekt i videor. Vår metod lär sig att kombinera utseende och rörelse information för att producera pixel nivå segmentering masker för alla framträdande objekt. Vi formulerar uppgiften som ett strukturerat förutsägelseproblem och utformar ett två-ström helt konvolutionellt neuralt nätverk som smälter samman rörelse och utseende i en enhetlig ram. Eftersom storskaliga videodataset med pixelnivåsegmentering saknas, visar vi hur man bootstrap svagt kommenterade videor tillsammans med befintliga bildigenkänningsdataset för träning. Genom experiment på tre utmanande videosegmenteringsriktmärken förbättrar vår metod avsevärt de senaste resultaten för segmentering av generiska (osedda) objekt. Kod och förträngda modeller finns på projektets webbplats.
FSEG REF föreslog en end-to-end två-stream ram för djupt lärande för att kombinera utseende och rörelseinformation.
FusionSeg: Learning to Combine Motion and Appearance for Fully Automatic Segmentation of Generic Objects in Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}