För modellering av 3D-världen bakom 2D-bilder, vilken 3D-representation är lämpligast? Ett polygonnät är en lovande kandidat för dess kompaktitet och geometriska egenskaper. Det är dock inte enkelt att modellera en polygon mesh från 2D-bilder med hjälp av neurala nätverk eftersom omvandlingen från en mesh till en bild, eller rendering, innebär en diskret operation som kallas rasterisering, som förhindrar back-förökning. Därför, i detta arbete, föreslår vi en ungefärlig gradient för rasterisering som möjliggör integrering av rendering i neurala nätverk. Med hjälp av denna render utför vi enimage 3D mesh rekonstruktion med siluettbild övervakning och vårt system överträffar den befintliga voxel-baserade metoden. Dessutom utför vi gradientbaserade 3D mesh redigeringsåtgärder, såsom 2D-till-3D-stil överföring och 3D DeepDream, med 2D övervakning för första gången. Dessa tillämpningar visar potentialen för integrering av en meshrender i neurala nätverk och effektiviteten hos vår föreslagna render.
På samma sätt, en gradient baserad metod för mesh rasterization som tillåter dess integrering i neurala nätverk presenterades REF.
Neural 3D Mesh Renderer
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}