Abstract-This paper tar upp problemet med samtidig 3D-rekonstruktion och materialigenkänning och segmentering. Gör det möjligt för robotar att känna igen olika material (konkret, metall etc.) i en scen är viktigt för många uppgifter, t.ex. Robotiska insatser för kärnkraftsavveckling. Tidigare arbete med 3D semantisk rekonstruktion har främst fokuserat på erkännande av vardagliga hushållsföremål (bord, stolar etc.).), medan tidigare arbete med materialigenkänning till stor del har begränsats till enstaka 2D-bilder utan någon 3D-rekonstruktion. Under tiden, de flesta 3D semantiska återuppbyggnadsmetoder förlitar sig på beräkning dyrt efter bearbetning, med hjälp av Fullt anslutna villkorliga Random Fields (CRFs), för att uppnå konsekventa segmenteringar. Däremot föreslår vi en djupinlärningsmetod som utför 3D-rekonstruktion samtidigt som man känner igen olika typer av material och märker dem på pixelnivå. Till skillnad från tidigare metoder föreslår vi en fullständig end-to-end-strategi, som inte kräver handgjorda funktioner eller CRF-efterbehandling. Istället använder vi bara inlärda funktioner, och CRF-segmenteringsbegränsningarna ingår i det helt färdiga lärda systemet. Vi presenterar resultaten av experiment, där vi tränade vårt system att utföra i realtid 3D semantisk rekonstruktion för 23 olika material i en verklig applikation. Systemets run-time prestanda kan ökas till cirka 10Hz med hjälp av en konventionell GPU, vilket är tillräckligt för att uppnå semantisk rekonstruktion i realtid med hjälp av en 30fps RGB-D-kamera. Såvitt vi vet är detta arbete det första realtids-endto-end-systemet för samtidig 3D-rekonstruktion och materialigenkänning.
Semantic SLam REF fokuserar på samtidig 3D-rekonstruktion och materialigenkänning och segmentering, som slutar med ett system från början till slut i realtid.
A fully end-to-end deep learning approach for real-time simultaneous 3D reconstruction and material recognition
{'venue': '2017 18th International Conference on Advanced Robotics (ICAR)', 'journal': '2017 18th International Conference on Advanced Robotics (ICAR)', 'mag_field_of_study': ['Computer Science']}