Visuell scenförståelse är en viktig förmåga som gör det möjligt för robotar att medvetet agera i sin omgivning. I detta dokument föreslår vi en ny djup neural nätverksstrategi för att förutsäga semantisk segmentering från RGB-D sekvenser. Den viktigaste innovationen är att utbilda vårt nätverk för att förutsäga multi-view konsekvent semantik på ett självövervakat sätt. Vid provtillfället kan dess semantiska förutsägelser sammansmältas mer konsekvent i semantiska keyframe-kartor än förutsägelser om ett nätverk som är utbildat i individuella vyer. Vi baserar vår nätverksarkitektur på en nyligen genomförd djupinlärningsstrategi för RGB och djupfusion för semantisk objektklasssegmentering och förbättrar den med flerskalig förlustminimering. Vi får kamerabanan med RGB-D SLAM och warp förutsägelserna av RGB-D bilder till mark-truth kommenterade ramar för att genomdriva multi-view konsistens under utbildningen. Vid provtillfället sammansmältes förutsägelser från flera vyer till nyckelramar. Vi föreslår och analyserar flera metoder för att genomdriva multi-view konsistens under utbildning och testning. Vi utvärderar nyttan av multi-view konsistens utbildning och visar att sammanslagning av djupa funktioner och fusion över flera vyer överträffar en-view baslinjer på NYUDv2 riktmärke för semantisk segmentering. Vårt end-to-end-utbildade nätverk uppnår toppmoderna prestanda på NYUDv2-datauppsättningen i en-view-segmentering samt multi-view semantisk fusion.
REF undersökte användningen av förvrängning av RGB-D-bildsekvenser till en referensram för semantisk segmentering för att få mer konsekventa förutsägelser.
Multi-view deep learning for consistent semantic mapping with RGB-D cameras
{'venue': '2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'journal': '2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'mag_field_of_study': ['Computer Science']}