: CalibNet uppskattar de extrinsiska kalibreringsparametrarna mellan en 3D LiDAR och en 2D-kamera. Det tar som ingång en RGB-bild (a) från en kalibrerad kamera, en rå LiDAR punktmoln (b), och ger en 6-DoF stel-kropps transformation T som bäst justerar de två ingångarna. (c) visar den färgade punktmolnsutgången för en felkalibrerad inställning, och (d) visar utmatningen efter kalibrering med hjälp av vårt nätverk. Som visat, med hjälp av den felkalibrerade punktmoln för att återställa en colorized 3D karta över världen resulterar i en osammanhängande rekonstruktion. Lägg märke till hur 3D-strukturerna som markeras i c med hjälp av röda rektanglar misslyckas med att projicera till sina 2D-motsvarigheter. Men med hjälp av de extrinsiska kalibreringsparametrar som förutses av CalibNet producerar mer konsekventa och noggranna rekonstruktioner (d), även för stora initiala felkalibreringar. Abstract-3D Lidars och 2D-kameror används i allt större utsträckning vid sidan av varandra i sensorriggar för perceptionsuppgifter. Innan dessa sensorer kan användas för att samla in meningsfulla data måste dock deras extrinsics (och inneboende) kalibreras noggrant, eftersom sensorriggens prestanda är extremt känslig för dessa kalibreringsparametrar. En stor majoritet av de befintliga kalibreringsteknikerna kräver betydande mängder data och/eller kalibreringsmål och mänsklig ansträngning, vilket allvarligt påverkar deras tillämplighet i storskaliga produktionssystem. Vi tar itu med detta gap med CalibNet: en självövervakad djup nätverk som kan automatiskt uppskatta 6-DoF stela kropp omvandling mellan en 3D LiDAR och en 2D-kamera i realtid. CalibNet minskar behovet av kalibreringsmål, vilket resulterar i betydande besparingar i kalibreringsarbetet. Under utbildningen tar nätverket endast som ingång ett LiDAR-punktmoln, motsvarande monokulära bild, och kamerakalibreringsmatrisen K. Vid tågtid, kräver vi inte direkt övervakning (dvs. vi går inte direkt tillbaka till kalibreringen
Iyer och Al. REF använder ett geometriskt övervakat djupt nätverk för att uppskatta sex graden av frihet (6-DOF) stel kroppsomvandling mellan 3D-ljusdetektion och Ranging (LIDAR) och 2D-kamera, vilket ger en god inspiration för hand-öga kalibrering.
CalibNet: Geometrically Supervised Extrinsic Calibration using 3D Spatial Transformer Networks
{'venue': '2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'journal': '2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'mag_field_of_study': ['Computer Science', 'Engineering']}