Vi föreslår ett i grunden nytt tillvägagångssätt för visuell odometri i realtid för en monokulär kamera. Att spåra en handhållen kamera och återställa miljöns tredimensionella struktur i realtid är bland de mest framträdande utmaningarna i datorseendet. Under de senaste åren har täta tillvägagångssätt för dessa utmaningar blivit allt populärare: Istället för att arbeta enbart på visuella funktionspositioner, rekonstruerar och spårar de hela bilden med hjälp av en ytbaserad karta och skiljer sig därmed i grunden från funktionsbaserade tillvägagångssätt. Ändå, dessa metoder är till dags dato antingen inte i realtid kan på standardprocessorer [11, 15, 17] eller kräver direkta djupmätningar från sensorn [7], vilket gör dem olämpliga för många praktiska tillämpningar. I detta dokument föreslår vi en ny semi-dense visuell odometri för en monokulär kamera, som kombinerar noggrannheten och robustheten hos täta metoder med effektiviteten hos funktionsbaserade metoder. Dessutom beräknar den mycket exakta halvdenserade djupkartor från de monokulära bilderna, vilket ger rik information om 3D * Detta arbete stöds av ERC Starting Grant ConvexVision och DFG projektet Mapping on Demand långt nära Figur 1. Semi-Dense Monocular Visual Odometrie: Vår strategi fungerar på en semi-dense invers djupkarta och kombinerar noggrannhet och robusthet av täta visuella SLAM-metoder med effektiviteten av funktionsbaserade tekniker. Vänster: videoram, Höger: färgkodad semi-dense djupkarta, som består av djupuppskattningar i alla bildregioner med tillräcklig struktur. Miljöns struktur. Vi använder termen visuell odometri som är tänkt att SLAM, eftersom -för enkelhetens skull - vi medvetet bara upprätthåller information om den nuvarande synliga scenen, i stället för att bygga en global världsmodell. Feature-baserade monocular SLAM. I alla funktionsbaserade metoder (såsom [4, 8] ), spårning och kartläggning består av två separata steg: För det första, diskreta funktioner observationer (dvs, deras platser i bilden) extraheras och matchas till varandra. För det andra, kameran och hela funktionen poser beräknas från en uppsättning av sådana observationer - utan hänsyn till bilderna själva. Även om detta preliminära abstraktion steg avsevärt minskar komplexiteten i det övergripande problemet och gör det möjligt att hanteras i realtid, kommer det i sig med två betydande nackdelar: För det första, endast bildinformation som överensstämmer med respektive funktionstyp och parametrisering -typiskt bild hörn och blobs [6] eller linjesegment [9] -används. För det andra måste funktionerna matchas med varandra, vilket ofta kräver en kostsam beräkning av skal- och rotationsinvarianta deskriptorer och robusta outlier estimeringsmetoder som RANSAC. Täta monokulära SLAM. För att övervinna dessa begränsningar och för att bättre utnyttja den tillgängliga bildinformationen har täta monokulära SLAM-metoder [11, 17] nyligen föreslagits. Den grundläggande skillnaden mot nyckelpunktsbaserade metoder är att dessa metoder fungerar direkt på bilderna
Komplexiteten kan minskas genom att utföra semi-dense direkt spårning och kartläggning algoritmer REF.
Semi-dense Visual Odometry for a Monocular Camera
{'venue': '2013 IEEE International Conference on Computer Vision', 'journal': '2013 IEEE International Conference on Computer Vision', 'mag_field_of_study': ['Computer Science']}