Vi fokuserar på det icke-Lambertianska objekt-nivå inneboende problemet med att återhämta diffus albedo, skuggning, och spekulära höjdpunkter från en enda bild av ett objekt. Baserat på befintliga 3D-modeller i ShapeNet-databasen, en storskalig objekt inneboende databas återges med HDR miljökartor. Miljontals syntetiska bilder av objekt och deras motsvarande albedo, skuggning, och Spekulära mark-truth bilder används för att träna en kodare-dekoder CNN, som kan dekomponera en bild i produkten av albedo och skuggning komponenter tillsammans med en additiv speculär komponent. Vårt CNN ger exakta och skarpa resultat i detta klassiska inversa problem med datorseende. Utvärderad på vår realistiska syntetiska datauppsättning överträffar vår metod konsekvent den senaste tekniken med stor marginal. Vi tränar och testar vårt CNN över olika objektkategorier. Kanske förvånande, särskilt ur CNN-klassificeringsperspektiv, våra inneboende CNN generaliserar mycket bra mellan olika kategorier. Vår analys visar att inlärning på kodarstadiet är viktigare för att utveckla en universell representation mellan olika kategorier. Vi tillämpar vår modell på riktiga bilder och videor från Internet och observerar robusta och realistiska resultat. Kvalitet icke-Lambertian inneboende kan öppna upp många intressanta applikationer såsom realistiska produktsökning baserat på materialegenskaper och bildbaserad albedo / specular redigering.
Med hjälp av denna datauppsättning uppnår REF toppmoderna resultat genom att träna en kodare-dekoder baserad konvolutionella neurala nätverk.
Learning Non-Lambertian Object Intrinsics Across ShapeNet Categories
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}