Abstrakt. Detta papper presenterar en kompakt och exakt representation av 3D-scener som observeras av en LiDAR-sensor och en monokulär kamera. Den föreslagna metoden bygger på den väletablerade Stixel-modellen som ursprungligen utvecklades för stereoseendeapplikationer. Vi utökar detta Stixel koncept för att införliva data från flera sensormodaliteter. Det resulterande fusionssystemet på mellannivå drar full nytta av den geometriska noggrannheten hos LiDAR-mätningar samt den höga upplösningen och den semantiska detaljen hos RGB-bilder. Den erhållna miljömodellen ger en geometriskt och semantiskt konsekvent representation av 3D-scenen vid en signifikant minskad mängd data samtidigt som informationsförlusten minimeras. Eftersom de olika sensormodaliteterna betraktas som ingång till ett gemensamt optimeringsproblem erhålls lösningen med endast mindre beräkningsunderlag. Vi demonstrerar effektiviteten hos den föreslagna multimodala Stixel-algoritmen på en manuellt kommenterad markbaserad sanningsdatauppsättning. Våra resultat indikerar att den föreslagna fusionen av LiDAR- och kameradata på mellannivå avsevärt förbättrar både den geometriska och semantiska noggrannheten hos Stixel-modellen och samtidigt minskar de beräknade omkostnaderna samt mängden genererade data i jämförelse med att använda en enda modalitet på egen hand.
Piewak m.fl. REF använder en medelnivå fusion av LiDAR och kameradata för att producera en Stixel representation av förarplatsen, visar förbättrad noggrannhet i termer av geometri och semantik av den resulterande representationen.
Improved Semantic Stixels via Multimodal Sensor Fusion
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}