Ännu mer robust, exakt och detaljerad kartläggning med hjälp av visuell avkänning har visat sig vara en möjliggörande faktor för mobila robotar i en mängd olika tillämpningar. För nästa nivå av robotintelligens och intuitiv användarinteraktion, måste kartor sträcka sig bortom geometri och utseende - de måste innehålla semantik. Vi tar itu med denna utmaning genom att kombinera Convolutional Neural Networks (CNN) och en toppmodern tät Simultanous Localisation and Mapping (SLAM) system, ElasticFusion, som ger långsiktiga täta korrespondenser mellan ramar av inomhus RGB-D-video även under loopy scanning trajectories. Dessa korrespondenser gör det möjligt för CNN:s semantiska förutsägelser från flera olika håll att probabilistiskt sammansmälta till en karta. Detta ger inte bara en användbar semantisk 3D-karta, utan vi visar också på NYUv2-datasetet att sammansmältning av flera förutsägelser leder till en förbättring även i 2D-semantisk märkning jämfört med baslinjeprognoser för en ram. Vi visar också att för en mindre ombyggnad dataset med större variation i förutsägelse synpunkt, förbättringen över en ram segmentering ökar. Vårt system är tillräckligt effektivt för att möjliggöra interaktiv användning i realtid i bildfrekvenser på 25Hz.
REF presenterade ett system som sammansmälte flera semantiska förutsägelser med en tät kartrekonstruktion.
SemanticFusion: Dense 3D semantic mapping with convolutional neural networks
{'venue': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Computer Science']}