Abstract-I detta papper presenterar vi en metod som uppskattar reflektans och belysning information från en enda bild som skildrar ett enskilt material speculär objekt från en viss klass under naturlig belysning. Vi följer en datadriven, inlärningsbaserad metod tränad på en mycket stor datauppsättning, men i motsats till tidigare arbete utgår vi inte från att en eller flera komponenter (form, reflektion eller belysning) är kända. Vi föreslår en tvåstegsstrategi, där vi först uppskattar objektets reflexionskarta, och sedan ytterligare sönderdela den till reflexion och belysning. I det första steget introducerar vi ett konvolutionellt neuralt nätverk (CNN) som direkt förutsäger en reflektionskarta från själva inmatningsbilden, samt ett indirekt system som använder extra övervakning, först uppskattar ytorienteringen och därefter sluter sig till reflektionskartan med hjälp av en inlärningsbaserad gles datainterpoleringsteknik. För det andra steget föreslår vi en CNN-arkitektur för att rekonstruera både Phong-reflektionsparametrar och högupplösta sfäriska belysningskartor från reflektanskartan. Vi föreslår också nya dataset för att utbilda dessa CNN. Vi visar effektiviteten i vår strategi för både steg genom omfattande kvantitativ och kvalitativ utvärdering av både syntetiska och verkliga data samt genom många tillämpningar, som visar förbättringar jämfört med den senaste tekniken.
I REF kombineras denna arkitektur med ett CNN som bryter ned reflektanskartan till en miljökarta och ett enda material.
Reflectance and Natural Illumination from Single-Material Specular Objects Using Deep Learning
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}