Rendering överbryggar klyftan mellan 2D-seende och 3D-scener genom att simulera den fysiska processen av bildbildning. Genom att vända sådana render, kan man tänka på en lärande inställning till infer 3D information från 2D-bilder. Men standard grafikrenderare innebär en grundläggande diskretisering steg kallas rasterisering, vilket hindrar renderingsprocessen att vara olika, därför kan läras. Till skillnad från state-of-the-art differentiable renders [30, 20], som bara ungefärlig renderingsgradient i ryggen utbredning, föreslår vi en verkligt differentiable renderingsram som kan (1) direkt rendera färgat mesh med olika funktioner och (2) bakåt-propagate effektiva övervakningssignaler till mesh hörn och deras attribut från olika former av bildrepresentationer, inklusive siluett, skuggning och färgbilder. Nyckeln till vårt ramverk är en ny formulering som ser rendering som en aggregeringsfunktion som sammansmälter de probabilistiska bidragen från alla mesh trianglar med avseende på de renderade pixlarna. Denna formulering gör det möjligt för vårt ramverk att flyta lutningar till de ockluderade och avlägsna hörn, som inte kan uppnås genom tidigare tillstånd-av-hjärtan. Vi visar att man genom att använda den föreslagna rendern kan uppnå betydande förbättringar av 3D-rekonstruktionen utan tillsyn, både kvalitativt och kvantitativt. Experiment visar också att vårt tillvägagångssätt kan hantera de utmanande uppgifterna i bildbaserad formmontering, som förblir icke-trivial till befintliga differentialrenderare. Koden finns på https://github.com/ ShichenLiu/SoftRas.
Bland dem Soft Rasterizer (SoftRas), en toppmodern differentialrenderare utvecklad av Liu et al. REF, behandlar mesh rendering som en process av probabilistisk aggregering av trianglar.
Soft Rasterizer: A Differentiable Renderer for Image-Based 3D Reasoning
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}