Vi presenterar en ny konvolutionell neural nätverk arkitektur för fotometrisk stereo (Woodham, 1980), ett problem med att återhämta 3D objekt yta normals från flera bilder som observerats under varierande belysningar. Trots sin långa historia i datorseendet visar problemet fortfarande grundläggande utmaningar för ytor med okända allmänna reflektansegenskaper (BRDF). Medeldjupa neurala nätverk för att lära sig komplicerade reflexion modeller är lovande, men studier i denna riktning är mycket begränsade på grund av svårigheter att förvärva korrekt grund sanning för utbildning och även i att utforma nätverk invariant till permutation av indata bilder. För att ta itu med dessa utmaningar föreslår vi en fysikbaserad oövervakad inlärningsram där ytnormaler och BRDF förutspås av nätverket och matas in i renderingsekvationen för att syntetisera observerade bilder. Nätverksvikterna optimeras under testning genom att minimera återuppbyggnadsförlusten mellan observerade och syntetiserade bilder. Därför kräver vår inlärningsprocess inte marksanning normal eller ens förträning på externa bilder. Vår metod visas för att uppnå den toppmoderna prestandan på ett utmanande riktmärke i verkligheten.
Ett annat verk av Taniai och Maehara REF presenterade en oövervakad inlärningsram där ytnormaler och BRDFs förutspås av nätverket tränas genom att minimera återuppbyggnadsförlust mellan observerade och syntetiserade bilder med en renderingsekvation.
Neural Inverse Rendering for General Reflectance Photometric Stereo
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science']}