Vi presenterar en strategi för att rekonstruera fordon från en enda (RGB) bild, i samband med autonom körning. Även om problemet verkar vara illa ställt, visar vi att förkunskaper om hur 3D-former av fordon projekt till en bild kan användas för att resonera om den omvända processen, dvs. hur former (back-)projekt från 2D till 3D. Vi kodar denna kunskap i form tidigare, som lärs över en liten nyckelpunkt-annoterade dataset. Vi formulerar sedan ett shapeaware anpassningsproblem som använder den inlärda formen tidigare för att återställa 3D-posen och formen av ett frågeobjekt från en bild. För formrepresentation och slutledning utnyttjar vi de senaste framgångarna med Convolutional Neural Networks (CNN) för uppgiften att lokalisera objekt och nyckelpunkter, och utbildar en ny kaskad helt konvolutionell arkitektur för att lokalisera fordonsnyckelpunkter i bilder. Den formmedvetna justeringen återvinner sedan kraftigt formen (3D-platserna för de upptäckta nyckelpunkterna) samtidigt som den fyller i oavslutade nyckelpunkter. För att hantera skattningsfel på grund av felaktigt upptäckta nyckelpunkter använder vi ett Iteratively Re-vikted Least Squares (IRLS) system för robust optimering, och som en biprodukt karakteriserar bullermodeller för varje förutsagd nyckelpunkt. Vi utvärderar vår strategi för autonoma körriktmärken, och presenterar överlägsna resultat till befintliga monokulära, samt stereo metoder.
Arbetet i REF kodar form tidigare med hjälp av keypoints för att återställa 3D pose och form av ett frågeobjekt.
Reconstructing vehicles from a single image: Shape priors for road scene understanding
{'venue': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Computer Science']}