Vi presenterar SfSNet, en end-to-end lärande ram för att producera en korrekt nedbrytning av en okonstruerad mänsklig ansikte bild till form, reflektion och belysning. SfSNet är utformad för att spegla en fysisk Lambertian rendering modell. SfSNet lär sig av en blandning av märkta syntetiska och omärkta verkliga bilder. Detta gör det möjligt för nätverket att fånga lågfrekventa variationer från syntetiska och högfrekventa detaljer från verkliga bilder genom den fotometriska återuppbyggnadsförlusten. SfSNet består av en ny sönderdelningsarkitektur med restblock som lär sig en fullständig separation av albedo och normalt. Detta används tillsammans med den ursprungliga bilden för att förutsäga belysning. Sf-SNet producerar betydligt bättre kvantitativa och kvalitativa resultat än state-of-the-art metoder för omvänd rendering och oberoende normal och belysning uppskattning.
Sengupta m.fl. REF införde en ram för lärande från början till slut för att skapa en sönderdelning av en icke-konstruerad mänsklig ansiktsbild till form, reflektion och belysning.
SfSNet: Learning Shape, Reflectance and Illuminance of Faces 'in the Wild'
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}