Semantisk videosegmentering är utmanande på grund av den stora mängden data som behöver bearbetas och märkas för att kunna konstruera korrekta modeller. I detta dokument presenterar vi en djup, end-to-end metodik för videosegmentering som kan utnyttja den information som finns i omärkta data, förutom glest märkta ramar, för att förbättra semantiska uppskattningar. Vår modell kombinerar en konvolutionell arkitektur och en spatiotemporaltransformator återkommande lager som kan tidsmässigt sprida märkningsinformation med hjälp av optiskt flöde, adaptivt gated baserat på sin lokalt uppskattade osäkerhet. Flödet, igenkännandet och de instängda temporalförökningsmodulerna kan tränas gemensamt, end-to-end. Den tidsbegränsade återkommande flödesförökningskomponenten i vår modell kan anslutas till varje statisk semantisk segmenteringsarkitektur och förvandla den till en svagt övervakad videobehandling. Våra experiment i de utmanande CityScapes och Camvid dataset, och för flera djupa arkitekturer, indikerar att den resulterande modellen kan utnyttja omärkta temporalramar, bredvid en märkt en, för att förbättra både videosegmenteringsnoggrannheten och konsekvensen i dess temporal märkning, utan ytterligare annoteringskostnad och med lite extra beräkning. Vårt semantiska videosegmenteringsarbete relaterar till de olika fälten för semantisk bildsegmentering, samt,
I REF beskriver författarna en end-to-end arkitektur som kombinerar en konvolutionell arkitektur och ett spatiotemporalt transformatorlager som kan sprida märkningsinformation genom tiden.
Semantic Video Segmentation by Gated Recurrent Flow Propagation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}