Vi presenterar en enhetlig ram som tar itu med två problem: klassspecifik 3D-rekonstruktion från en enda bild och generering av nya 3D-formprover. Dessa uppgifter har fått stor uppmärksamhet nyligen, men de flesta befintliga strategier bygger på 3D-övervakning, notering av 2D-bilder med keypoints eller poser, och / eller utbildning med flera vyer av varje objekt instans. Vårt ramverk är mycket allmänt: det kan utbildas i liknande miljöer som befintliga metoder, samtidigt som det stöder svagare tillsyn. Viktigt, det kan tränas enbart från 2D-bilder, utan att posera kommentarer, och med endast en vy per instans. Vi använder maskor som en output representation, i stället för voxels som används i de flesta tidigare arbeten. Detta gör att vi kan resonera över ljusparametrar och utnyttja skugginformation under utbildningen, vilket tidigare 2D-övervakade metoder inte kan. Således kan vår metod lära sig att generera och rekonstruera konkava objekt klasser. Vi utvärderar vårt tillvägagångssätt i olika miljöer, visar att: (i) det lär sig att skilja form från pose och belysning; (ii) använda skugga i förlusten förbättrar prestanda jämfört med bara silhuetter; (iii) när man använder en standard enda vitt ljus, vår modell överträffar state-of-the-art 2D-övervakade metoder, både med och utan pose övervakning, tack vare att utnyttja skuggande färger; (iv) prestanda förbättras ytterligare när man använder flera färgade ljus, även närmar sig den av state-of-the-art 3D-övervakade metoder; (v) former som produceras av vår modell fånga släta ytor och fina detaljer bättre än voxel-baserade metoder; och (vi) vår strategi stöder konkava klasser som badkar och soffor, som metoder baserade på silhuetter inte kan lära sig.
Metoden av REF argumenterar också för att lära generativa modeller som kan förutsäga 3D form, pose och belysning från en enda bild.
Learning Single-Image 3D Reconstruction by Generative Modelling of Shape, Pose and Shading
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}