....................................... 1: Vi visar objektorienterad semantisk kartläggning med RGB-D-data som skalar från små skrivbordsmiljöer (till vänster) till kontor (mellan) och hela labb (till höger). Bilderna visar 3D kartstrukturer med objekt färgade enligt deras semantiska klass. Vi projicerar inte bara semantiska etiketter för enskilda 3D-punkter, utan behåller objekten som den centrala delen av kartan och befriar dem från kravet på a-priori 3D-objektmodeller i [1]. För att uppnå detta skapar och utökar vårt system 3D-objektmodeller samtidigt som vi kontinuerligt kartlägger miljön. Objektdetektering och klassificering utförs med hjälp av ett Convolutional Network, medan en oövervakad 3D-segmenteringsalgoritm tilldelar ett segment av 3D-punkter till varje objektdetektering. Dessa segmenterade objektdetektioner blandas sedan antingen med befintliga objekt, eller läggs till som ett nytt objekt på kartan. ORB-SLAM2 tillhandahåller en global SLAM-lösning som gör det möjligt för oss att rekonstruera en 3D-modell av miljön som innehåller både icke-objekt struktur och objekt av olika typer. Abstract-För intelligenta robotar att interagera på ett meningsfullt sätt med sin miljö, måste de förstå både geometriska och semantiska egenskaper i scenen som omger dem. Merparten av forskningen hittills har behandlat dessa kartläggningsutmaningar separat, med fokus på antingen geometrisk eller semantisk kartläggning. I detta dokument tar vi upp problemet med att bygga miljökartor som omfattar både semantiskt meningsfulla objekt på objektnivå och punkt- eller meshbaserade geometriska representationer. Vi bygger samtidigt geometriska punktmolnsmodeller av tidigare osedda fall av kända objektklasser och skapar en karta som innehåller dessa objektmodeller som centrala enheter. Vårt system utnyttjar sparsamt, funktionsbaserat RGB-D SLAM, bildbaserat djuplärande objektdetektering och 3D oövervakad segmentering.
REF presenterade ett semantiskt karteringssystem med objektdetektering i kombination med RGB-D SLAM, men objektmodeller informerar inte lokaliseringen.
Meaningful maps with object-oriented semantic mapping
{'venue': '2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'journal': '2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'mag_field_of_study': ['Computer Science', 'Engineering']}