Vi presenterar SfSNet, en end-to-end lärande ram för att producera en korrekt nedbrytning av en okonstruerad mänsklig ansikte bild till form, reflektion och belysning. SfSNet är utformad för att spegla en fysisk Lambertian rendering modell. SfSNet lär sig av en blandning av märkta syntetiska och omärkta verkliga bilder. Detta gör det möjligt för nätverket att fånga lågfrekventa variationer från syntetiska och högfrekventa detaljer från verkliga bilder genom den fotometriska återuppbyggnadsförlusten. SfSNet består av en ny sönderdelningsarkitektur med restblock som lär sig en fullständig separation av albedo och normalt. Detta används tillsammans med den ursprungliga bilden för att förutsäga belysning. Sf-SNet producerar betydligt bättre kvantitativa och kvalitativa resultat än state-of-the-art metoder för omvänd rendering och oberoende normal och belysning uppskattning.
På samma sätt, Sengupta et al. I REF föreslås restblock för att åstadkomma en fullständig separation av normala yt- och albedoegenskaper.
SfSNet: Learning Shape, Reflectance and Illuminance of Faces 'in the Wild'
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}