Abstract-Stor skala punktmoln som genereras från 3D-sensorer är mer exakt än sin bild-baserade motsvarighet. Det används dock sällan i visuell pose uppskattning på grund av svårigheten att få 2D-3D-bild till punkt molnkorrespondenser. I detta dokument föreslår vi 2D3D-MatchNet - en end-to-end djup nätverk arkitektur för att gemensamt lära deskriptorer för 2D och 3D nyckelpunkt från bild och punkt moln, respektive. Som ett resultat kan vi direkt matcha och etablera 2D-3D-korrespondenser från frågebilden och 3D-punktsmolnets referenskarta för visuell pose uppskattning. Vi skapar vår Oxford 2D-3D Patches dataset från Oxford Robotcar dataset med marken sanningskameran poser och 2D-3D-bild för att peka molnkorrespondenser för utbildning och testning av det djupa nätverket. Experimentella resultat verifierar genomförbarheten av vårt tillvägagångssätt.
Nyligen föreslog REF ett djupt nätverk för att matcha 2D och 3D patchar med en triplet förlust för utomhus lokalisering.
2D3D-Matchnet: Learning To Match Keypoints Across 2D Image And 3D Point Cloud
{'venue': '2019 International Conference on Robotics and Automation (ICRA)', 'journal': '2019 International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Computer Science', 'Engineering']}