Figur 1: Vårt system möjliggör realtidsfångst av allmänna former som genomgår icke-rigida deformationer med hjälp av en enda djupkamera. Överst till vänster: det föremål som ska fångas skannas medan man genomgår stela deformationer, vilket skapar en basmall. Längst ner till vänster: objektet manipuleras och vår metod deformerar mallen för att spåra objektet. Övre och mellersta raden: vi visar vår rekonstruktion för överkropp, ansikte, och handsekvenser som fångas i olika poser som de är deformerade. Nedre raden: vi visar motsvarande färg- och djupdata för det rekonstruerade meshet i mittenraden. Vi presenterar en kombinerad hårdvara och programvara lösning för markörlös rekonstruktion av icke-rigidly deformering fysiska objekt med godtycklig form i realtid. Vårt system använder en enda fristående stereokameraenhet byggd av off-the-shelf komponenter och konsumentgrafik hårdvara för att generera spatio-temporalt sammanhängande 3D-modeller vid 30 Hz. En ny stereo matchande algoritm uppskattar realtid RGB-D-data. Vi börjar med att skanna en smidig mallmodell av ämnet när de rör sig stelt. Denna geometriska yta undviker starka scenantaganden, t.ex. ett kinematiskt människoskelett eller en parametrisk formmodell. Därefter utför en ny GPU-rörledning icke-rigid registrering av levande RGB-D-data till den smidiga mallen med hjälp av en utökad icke-linjär som-rigid-som-möjligt (ARAP) ram. Högfrekventa detaljer sammansmältes på den slutliga maskan med hjälp av en linjär deformationsmodell. Systemet är en storleksordning snabbare än toppmoderna metoder, samtidigt som det matchar kvaliteten och robustheten hos många offline-algoritmer. Vi visar exakta rekonstruktioner i realtid av olika scener, inklusive: stora deformationer av användares huvuden, händer och överkroppar, finskaliga rynkor och veck av hud och kläder, och icke-rigida interaktioner som utförs av användare på flexibla objekt som leksaker. Vi visar hur förvärvade modeller kan användas för många interaktiva scenarier, inklusive re-texturering, online prestanda fånga och förhandsvisning, och realtid form och rörelse re-targeting.
Mall-baserad icke-rigid deformation spårning av godtyckliga objekt i realtid från RGB-D visades i REF, mycket enkel unocluded hand poser kan spåras.
Real-time non-rigid reconstruction using an RGB-D camera
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}