Vi presenterar en metod för 3D-objektdetektering och poserar uppskattning från en enda bild. I motsats till nuvarande tekniker som endast regresserar 3D-orienteringen av ett objekt, vår metod regresserar först relativt stabila 3D-objektegenskaper med hjälp av ett djupt konvolutionellt neuralt nätverk och sedan kombinerar dessa uppskattningar med geometriska begränsningar som tillhandahålls av en 2D-objekt avgränsande låda för att producera en komplett 3D-gränsande låda. Den första nätverksutgången uppskattar 3D-objektorienteringen med hjälp av en ny hybrid diskret-kontinuerlig förlust, som avsevärt överträffar L2-förlusten. Den andra produktionen regresserar 3D-objekt dimensionerna, som har relativt lite varians jämfört med alternativ och kan ofta förutsägas för många objekttyper. Dessa uppskattningar, i kombination med de geometriska begränsningar för översättning som införs av 2D-gränsrutan, gör det möjligt för oss att återställa en stabil och korrekt 3D-objekt pose. Vi utvärderar vår metod på det utmanande KITTI-objektdetekteringsriktmärket [2] både på det officiella måttet för 3D-orienteringsuppskattning och på noggrannheten hos de erhållna 3D-begränsande rutorna. Även om vår metod är konceptuellt enkel, överträffar den mer komplexa och beräkningsmässigt dyra metoder som utnyttjar semantisk segmentering, till exempel segmentering på nivå och platta markposter [4] och upptäckt underkategori [23] [24]. Vår diskret-kontinuerliga förlust ger också toppmoderna resultat för 3D synvinkel uppskattning på Pascal 3D+ dataset [26]. * Arbete som praktikant på Zoox, Inc.
Deep3DBox REF använder ett neuralt nätverk för att förutsäga dimensioner och pose av ett objekt, sedan använda ett linjärt system av ekvationer för att genomdriva en begränsning att den projicerade 3D-gränsboxen måste passa hårt i 2D-boxen.
3D Bounding Box Estimation Using Deep Learning and Geometry
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}