3D-scanning innebär traditionellt separat avskiljning och offline bearbetning faser, kräver mycket noggrann planering av fångsten för att se till att varje yta är täckt. I praktiken är det mycket svårt att undvika hål, vilket kräver flera iterationer av fångst, återuppbyggnad, identifiera hål, och återanpassning saknade regioner för att säkerställa en komplett modell. Rekonstruktionssystem i realtid som KinectFusion [18, 10] utgör ett stort framsteg, genom att ge användarna möjlighet att omedelbart se återuppbyggnaden och identifiera regioner som återstår att skanna. KinectFusion sporrade till en uppföljande forskning som syftade till att stärka spårningen [9, 32] och utöka dess rumsliga kartläggningskapacitet till större miljöer [22, 19, 34, 31, 9]. Men som med alla traditionella SLAM och täta återuppbyggnadssystem är det mest grundläggande antagandet bakom KinectFusion att den observerade scenen i stort sett är statisk. Kärnfrågan vi tar itu med i detta dokument är: Hur kan vi generalisera KinectFusion för att rekonstruera och spåra dynamisk, Därför introducerar vi DynamicFusion, ett tillvägagångssätt som bygger på att lösa för ett volymetriskt flöde fält som omvandlar tillståndet i scenen vid varje tillfälle till en fast, kanonisk ram. I fallet med en rörliga person, till exempel, denna omvandling upphäver personens rörelse, förvränger varje kropp konfiguration till pose av den första ramen. Efter dessa warp, scenen är effektivt stel, och standard KinectFusion uppdateringar kan användas för att få en hög kvalitet, denoised rekonstruktion. Denna gradvis denoiserade rekonstruktion kan sedan omvandlas tillbaka till den levande ramen med hjälp av den inversa kartan; varje punkt i den kanoniska ramen omvandlas till sin plats i den levande ramen (se figur 1). Att definiera ett kanoniskt "rigid" utrymme för en dynamiskt rörlig scen är inte enkelt. Ett viktigt bidrag av vårt arbete är en strategi för icke-rigid transformation och fusion som behåller optimalitet egenskaper volymetrisk scan fusion [5], som ursprungligen utvecklats för stela scener. Den viktigaste insikten är att om man upphäver scenens rörelse för att möjliggöra fusion av alla observationer till en enda fast ram kan man uppnå effektivt genom att enbart beräkna den omvända kartan. Under denna omvandling, varje kanonisk punkt projicerar längs en linje av syn i den levande kameraramen. Eftersom argumenten för optimalitet [5] (utvecklade för stela scener) endast beror på synfält, kan vi generalisera deras optimala resultat till det icke-rigida fallet. Vårt andra viktiga bidrag är att effektivt representera denna volymiska warp och beräkna den i realtid. Till och med en relativt låg upplösning skulle 256 3 deformationsvolym kräva 100 miljoner omvandlingsvariabler för att beräknas i bildhastighet. Vår lösning beror på en kombination av adaptiva, sparsamma, hierarkiska volymetriska basfunktioner och innovativt algoritmiskt arbete för att säkerställa ett verkligt-343 978-1-4673-6964-0/15/$31.00 ©2015 IEEE
För att ta itu med det icke stelbenta problemet är DynamicFusion REF det banbrytande arbetet och kan rekonstruera scengeometrin i realtid för en person som rör sig långsamt.
DynamicFusion: Reconstruction and tracking of non-rigid scenes in real-time
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}