Abstract Att förstå 3D-objektets struktur från en enda bild är en viktig men utmanande uppgift i datorseendet, främst på grund av avsaknaden av 3D-objektanteckningar till verkliga bilder. Tidigare forskning tog itu med detta problem genom att antingen söka efter en 3D-form som bäst förklarar 2D-anteckningar, eller utbildning enbart på syntetiska data med grundsanning 3D-information. I detta arbete föreslår vi 3D-Interpreter Networks (3D-INN), en end-to-end trainingable ram som successivt uppskattar 2D-nyckelpunkt värmekartor och 3D-objekt skelett och poser. Vårt system lär sig av både 2D-annoterade riktiga bilder och syntetiska 3D-data. Detta möjliggörs främst genom två tekniska innovationer. För det första fungerar värmekartor över 2D-nyckelpunkter som en mellanliggande representation för att ansluta verkliga och syntetiska data. 3D-INN är tränad på verkliga bilder för att uppskatta 2D-nyckelpunktsvärmekartor från en ingångsbild; den förutsäger sedan 3D-objektstruktur från värmekartor med hjälp av kunskap från syntetiska 3D-former. Genom att göra det, 3D-INN drar nytta av variation och överflöd av syntetiska 3D-objekt, utan att lida av domänskillnaden mellan verkliga och syntetiserade bilder, ofta på grund av ofullständig återgivning. För det andra föreslår vi ett projektionsskikt som kartlägger uppskattad 3D-struktur tillbaka till 2D. Under utbildningen säkerställer det 3D-INN att förutsäga 3D-struktur vars projektion överensstämmer med 2D-anteckningarna till verkliga bilder. Experiment visar att det föreslagna systemet fungerar bra både på 2D-nyckelpunktsuppskattning och på 3D-strukturåterhämtning. Vi visar också att den återvunna 3D-informationen har breda visionstillämpningar, såsom bildsökning.
Till exempel Wu et al. REF utbildade en modell för 2D-nyckelpunktsförutsägelse på verkliga bilder och uppskattade 3D-trådramar av objekt med hjälp av en modell utbildad på syntetiska former.
3D Interpreter Networks for Viewer-Centered Wireframe Modeling
{'venue': 'International Journal of Computer Vision, 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}