: Sammanhängande Illumination. Den verkliga scenen består av en actionfigur av Hulken och en leksaksbil. För att visa resultatet av vårt system placerar vi en 3D-scan bredvid den verkliga actionfiguren och visar den med hjälp av Mixed Reality: (vänster) 3D-rekonstruktionen görs utan verklig världsuppskattning av ljus. (höger) Vårt system uppskattar den aktuella belysningen från en enda ingångsbild. Den beräknade belysningen används för att belysa 3D-rekonstruktionen. Observera att vi bara registrerar den verkliga världen belysning och inte överväga några kameraeffekter såsom exponering eller suddig. Detta papper presenterar den första fotometriska registrering pipeline för Mixed Reality baserat på hög kvalitet belysning uppskattning med hjälp av konvolutionella neurala nätverk (CNNs). För enkel anpassning och installation av systemet utbildar vi CNN:erna med enbart syntetiska bilder och tillämpar dem på verkliga bilddata. För att hålla rörledningen korrekt och effektiv, föreslår vi att sammanfoga ljusuppskattningen resultat från flera CNN instanser och visa en strategi för caching uppskattningar över tid. För optimal prestanda utforskar vi dessutom flera strategier för CNN-träningen. Experimentella resultat visar att den föreslagna metoden ger mycket exakta uppskattningar för fotorealistiska förstärkningar.
m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF lär sig på liknande sätt belysningen från en enda bild av ett känt objekt.
Learning Lightprobes for Mixed Reality Illumination
{'venue': '2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)', 'journal': '2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR)', 'mag_field_of_study': ['Computer Science']}