Att förstå 3D-objektets struktur från en enda bild är en viktig men svår uppgift i datorseendet, främst på grund av avsaknaden av 3D-objektanteckningar i verkliga bilder. Tidigare arbete tar itu med detta problem genom att antingen lösa en optimering uppgift ges 2D keypoint positioner, eller utbildning på syntetiska data med marksanning 3D information. I detta arbete föreslår vi 3D-Interpreter Network (3D-INN), en endto-end ram som successivt uppskattar 2D-nyckelpunkt värmekartor och 3D-objekt struktur, tränade på både verkliga 2D-annoterade bilder och syntetiska 3D-data. Detta möjliggörs främst genom två tekniska innovationer. För det första föreslår vi ett projektionsskikt, som beräknar 3D-struktur till 2D-utrymme, så att 3D-INN kan tränas för att förutsäga 3D-strukturparametrar som övervakas av 2D-anteckningar på verkliga bilder. För det andra fungerar värmekartor över keypoints som en mellanliggande representation som förbinder verkliga och syntetiska data, vilket gör det möjligt för 3D-INN att dra nytta av variation och överflöd av syntetiska 3D-objekt, utan att lida av skillnaden mellan statistiken över verkliga och syntetiserade bilder på grund av ofullständig rendering. Nätverket uppnår den senaste prestandan på både 2D-nyckelpunktsuppskattning och 3D-strukturåterställning. Vi visar också att den återvunna 3D-informationen kan användas i andra synapplikationer, t.ex. 3D-återgivning och bildsökning.
Wu och Al. I REF föreslås 3D-tolknätverk som successivt uppskattar 2D-nyckelpunktsvärmekartor och 3D-objektstruktur.
Single Image 3D Interpreter Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}