Den senaste tidens framsteg i fråga om djupgående generativa modeller har lett till enorma genombrott i bildgenereringen. Men även om befintliga modeller kan syntetisera fotorealistiska bilder, saknar de en förståelse för vår underliggande 3D-värld. Vi presenterar en ny generativ modell, Visual Object Networks (VON), som syntetiserar naturliga bilder av objekt med en löslig 3D-representation. Inspirerade av klassisk grafik rendering pipelines, vi river upp vår bildbildningsprocess i tre villkorat oberoende faktorer-form, synvinkel, och textur-och presentera en end-to-end kontraarial läranderam som tillsammans modellerar 3D-former och 2D-bilder. Vår modell lär sig först att syntetisera 3D-former som är oskiljaktiga från verkliga former. Den återger sedan objektets 2.5D-skisser (dvs siluett- och djupkarta) från sin form under ett urvalsperspektiv. Slutligen lär den sig att lägga till realistisk textur till dessa 2.5D-skisser för att generera naturliga bilder. VON genererar inte bara bilder som är mer realistiska än state-of-the-art 2D-bildsyntesmetoder, men också möjliggör många 3D-operationer såsom att ändra synen på en genererad bild, redigering av form och textur, linjär interpolering i textur och form utrymme, och överföra utseende över olika objekt och perspektiv.
REF genererar bilder av texturerade 3D-former, genom att först provsmaka texturlösa former och projicera dem till en siluett och djupkarta; texturen genereras sedan i bildutrymme.
Visual Object Networks: Image Generation with Disentangled 3D Representation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}