Vi föreslår att 3D-formkonstruktioner återställs från enstaka RGB-bilder, där strukturen hänvisar till formdelar som representeras av kuboider och delrelationer som omfattar konnektivitet och symmetri. Med tanke på en enda 2D-bild med ett objekt avbildat, vårt mål är att automatiskt återställa en kuboid struktur av objektdelarna samt deras ömsesidiga relationer. Vi utvecklar en convolutional-recursive auto-encoder bestående av struktur tolkning av en 2D-bild följt av struktur återhämtning av en kuboid hierarki. Encodern uppnås genom ett flerskaligt konvolutionsnätverk utbildat med uppgiften att forma konturuppskattning, vilket lär sig att urskilja objektstrukturer i olika former och skalor. Dekoder smälter samman funktionerna i strukturen tolkning nätverk och den ursprungliga bilden, och rekursivt avkodar en hierarki av kuboider. Eftersom avkodarnätet är lärt att återställa delförbindelser inklusive anslutning och symmetri explicit, kan rimligheten och allmänheten i delvis struktur återhämtning säkerställas. De två nätverken utbildas gemensamt med hjälp av utbildningsdata från konturmask och kuboidstrukturpar. Sådana par genereras av rendering lager 3D CAD-modeller kommer med del segmentering. Vår metod uppnår aldrig tidigare skådat trogen och detaljerad återhämtning av olika 3D-delstrukturer från single-view 2D-bilder. Vi demonstrerar två tillämpningar av vår metod inklusive strukturstyrd färdigställande av 3D-volymer rekonstruerade från en-vy bilder och struktur-medveten interaktiv redigering av 2D-bilder.
Såvitt vi vet finns det bara ett tidigare arbete, Im2Struct REF, som innehåller delar strukturer från en enda bild.
Im2Struct: Recovering 3D Shape Structure from a Single RGB Image
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}