Abstrakt. Vi presenterar en strategi för gemensam slutsats av 3D scen struktur och semantisk märkning för monokulära video. Med början med monocular image stream producerar vårt ramverk en 3D volymetrisk semantisk + beläggning karta, vilket är mycket mer användbart än en serie av 2D semantiska etikett bilder eller ett glest punktmoln produceras av traditionella semantiska segmentering och struktur från Motion (SfM) rörledningar respektive. Vi härleder en villkorlig Random Field (CRF) modell definieras i 3D utrymme, som gemensamt infer den semantiska kategorin och beläggning för varje voxel. En sådan gemensam slutsats i den gemensamma resolutionsfonden för tredje land banar väg för mer informerade tidigare omständigheter och begränsningar, som annars inte är möjliga om de löses separat inom sina traditionella ramar. Vi använder oss av klassspecifika semantiska signaler som begränsar 3D-strukturen i områden där multivybegränsningarna är svaga. Vår modell består av högre ordningsfaktorer, vilket hjälper när djupet är omärkligt. Vi använder oss också av klassspecifika semantiska signaler för att antingen minska graden av sådana högre ordningsfaktorer, eller för att ungefär modellera dem med unaries om möjligt. Vi demonstrerar förbättrad 3D-struktur och tidsmässigt konsekvent semantisk segmentering för svåra, storskaliga, framåtgående monokulära bildsekvenser. Bilda. 1................................................................ Översikt över vårt system. Från monokulära bildsekvensen får vi först 2D semantisk segmentering, sparsamt 3D-rekonstruktion och kameraposer. Vi bygger sedan en volymetrisk 3D-karta som visar både 3D-struktur och semantiska etiketter.
Gemensam semantisk segmentering och rekonstruktion av 3D-scenen föreslås av REF.
Joint Semantic Segmentation and 3D Reconstruction from Monocular Video
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}