: Input till vår bild-styrda neurala objekt rendering tillvägagångssätt är en uppsättning av färgbilder. Vi rekonstruerar först en geometrisk objektproxy som används för att göra en djupkarta över en ny vy. Dessutom hämtar vi en uppsättning av närmaste grann observationer. Vårt nätverk syntetiserar sedan motsvarande färgbild genom att separera vyberoende och vyoberoende effekter, warps de vyoberoende effekterna, medan regresserande vyberoende effekter av målvyn. Slutligen lär sig ett kompositionsnätverk att kombinera all information. Vi föreslår en ny inlärningsbaserad ny synsyntesmetod för skannade objekt som tränas utifrån en uppsättning multi-view-bilder. Istället för att använda texturmappning eller handdesignad bildbaserad rendering tränar vi direkt ett djupt neuralt nätverk för att syntetisera en bildberoende bild av ett objekt. För det första använder vi en täckningsbaserad grannlook-up för att hämta en uppsättning referensramar som uttryckligen förvrängs till en given målvy med korsprojektion. Vårt nätverk lär sig sedan att bäst kompositera de förvrängda bilderna. Detta gör det möjligt för oss att generera fotorealistiska resultat, utan att behöva fördela kapacitet på "återkommande" objekt utseende. Istället kan multi-vy bilder återanvändas. Även om detta fungerar bra för diffusa objekt, korsprojicering generaliserar inte för att visa beroende effekter. Därför föreslår vi ett nedbrytningsnätverk som extraherar synberoende effekter och som tränas på ett självövervakat sätt. Efter sönderdelning korsas den diffusa skuggningen, medan det visningsberoende skiktet i målvyn regresseras. Vi visar effektiviteten i vår strategi både kvalitativt och kvantitativt när det gäller såväl verkliga som syntetiska data.
För att återge synberoende objekt, Thies et al. REF-modell den visningsberoende komponenten med självövervakat lärande och sedan kombinera det med den diffusa komponenten.
IGNOR: Image-guided Neural Object Rendering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}