Vi presenterar en metod för 3D-objektdetektering och poserar uppskattning från en enda bild. I motsats till nuvarande tekniker som endast regresserar 3D-orienteringen av ett objekt, vår metod regresserar först relativt stabila 3D-objektegenskaper med hjälp av ett djupt konvolutionellt neuralt nätverk och sedan kombinerar dessa uppskattningar med geometriska begränsningar som tillhandahålls av en 2D-objekt avgränsande låda för att producera en komplett 3D-gränsande låda. Den första nätverksutgången uppskattar 3D-objektorienteringen med hjälp av en ny hybrid diskret-kontinuerlig förlust, som avsevärt överträffar L2-förlusten. Den andra produktionen regresserar 3D-objekt dimensionerna, som har relativt lite varians jämfört med alternativ och kan ofta förutsägas för många objekttyper. Dessa uppskattningar, i kombination med de geometriska begränsningar för översättning som införs av 2D-gränsrutan, gör det möjligt för oss att återställa en stabil och korrekt 3D-objekt pose. Vi utvärderar vår metod på det utmanande KITTI-objektdetekteringsriktmärket [2] både på det officiella måttet för 3D-orienteringsuppskattning och på noggrannheten hos de erhållna 3D-begränsande rutorna. Även om vår metod är konceptuellt enkel, överträffar den mer komplexa och beräkningsmässigt dyra metoder som utnyttjar semantisk segmentering, till exempel segmentering på nivå och platta markposter [4] och upptäckt underkategori [23] [24]. Vår diskret-kontinuerliga förlust ger också toppmoderna resultat för 3D synvinkel uppskattning på Pascal 3D+ dataset [26]. * Arbete som praktikant på Zoox, Inc.
Deep3Dbox REF utnyttjar geometriska begränsningar mellan 3D- och 2D-gränsboxen för att återställa 3D-poserna.
3D Bounding Box Estimation Using Deep Learning and Geometry
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}