....................................... Vi presenterar en bildsyntes metod som lär objektspecifika neurala texturer som kan tolkas av en neural render. Vårt tillvägagångssätt kan tränas end-to-end med verkliga data, så att vi kan syntetisera nya vyer över statiska objekt, redigera scener, samt re-render dynamiska animerade ytor 0. Den moderna datorgrafik pipeline kan syntetisera bilder med anmärkningsvärd visuell kvalitet, men det kräver väldefinierade, högkvalitativa 3D-innehåll som ingång. I detta arbete undersöker vi användningen av ofullkomligt 3D-innehåll, till exempel från fotometriska rekonstruktioner med bullriga och ofullständiga ytgeometri, samtidigt som vi strävar efter att producera fotorealistiska (re-)renderingar. För att ta itu med detta utmanande problem, introducerar vi Deferred Neural Rendering, ett nytt paradigm för bildsyntes som kombinerar den traditionella grafik pipeline med lärbara komponenter. Speciellt föreslår vi Neurala Textures, som är lärda funktionskartor som är utbildade som en del av scenen fånga processen. Liknar traditionella texturer lagras neurala texturer som kartor ovanpå 3D mesh proxies; dock innehåller de högdimensionella funktionskartorna betydligt mer information, som kan tolkas av vår nya uppskjutna neural rendering pipeline. Både neurala texturer och uppskjutna neurala render är utbildade end-to-end, vilket gör det möjligt för oss att syntetisera fotorealistiska bilder även när det ursprungliga 3D-innehållet var ofullständigt. I motsats till traditionella, svart-box 2D generativa neurala nätverk, ger vår 3D representation oss uttrycklig kontroll över den genererade produktionen, och möjliggör ett brett spektrum av applikationsdomäner. Vi kan till exempel syntetisera tidsmässigt konsekventa videore-renderingar av inspelade 3D-scener eftersom vår representation är inbäddad i 3D-utrymme. På så sätt kan neurala texturer användas för att konsekvent re-rendera eller manipulera befintligt videoinnehåll i både statiska och dynamiska miljöer i realtid. Vi visar effektiviteten i vårt tillvägagångssätt i flera experiment på ny synsyntes, scenredigering och ansiktsreagering, och jämför med state-of-the-art metoder som utnyttjar standardgrafik pipeline samt konventionella generativa neurala nätverk.
Till exempel lagrar REF utseende information som högdimensionella funktioner i en neural textur karta i samband med grov geometri proxy och avkodar till färg när projiceras till nya vyer.
Deferred neural rendering: image synthesis using neural textures
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}