Figur 1: Vår metod tar som ingångsdjup och anpassade RGB bilder från alla konsumentdjup kamera (här en PrimeSense Carmine 1.09). Per-frame och i realtid approximerar vi incidentbelysningen och albedo, och använder dessa för geometrisk förfining. Från vänster: Exempel ingångsdjup och RGB-bild; rå djupinmatning före förfining (renderas med normals och pong skuggning, respektive); vårt förfinade resultat, notera detaljer på ögat (överst till höger) jämfört med ursprungliga djup karta (nederst till höger); full 3D rekonstruktion med hjälp av våra raffinerade djupkartor i realtid scan integrationsmetod av [Nießner et al. 2013] (längst till höger) Vi presenterar den första realtidsmetoden för förfining av djupdata med hjälp av form-från-formning i allmänna okontrollerade scener. Per bildruta tar vår realtidsalgoritm råa bullriga djupdata och en anpassad RGB-bild som indata, och ungefärar den tidsvarierande incidentbelysningen, som sedan används för geometrisk förfining. Detta leder till dramatiskt förbättrade djupkartor på 30Hz. Vår algoritm gör få scenantaganden, hanterar godtyckliga scenobjekt även under rörelse. För att möjliggöra denna typ av realtidsdjup karta förbättring, bidrar vi med en ny mycket parallell algoritm som omformulerar invers rendering optimering problem i tidigare arbete, så att vi kan uppskatta belysning och form på ett temporalt sammanhängande sätt på videoram-frekvenser. Vårt optimeringsproblem minimeras med hjälp av ett nytt vanligt rutnät Gauss-Newton lösare implementeras helt på GPU. Vi visar resultat som visar förbättrade djupkartor, som är jämförbara med offline-metoder men är beräknade storleksordningar snabbare, samt baslinjejämförelser med online-filtrering-baserade metoder. Vi avslutar med applikationer av våra kartor av högre kvalitet för förbättrad ytrekonstruktion i realtid och prestandafångst.
Wu metod REF är den första realtid skuggning baserad form förfining metod.
Real-time shading-based refinement for consumer depth cameras
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}