Vi föreslår en konvolutionell strategi för att korrigera multipatinterferensfel (MPI), i realtid och på komplexa scener fångade med off-the-shälf, tid-of-flight (ToF) kameror. Vi introducerar ett nytt tvåstegsprogram för lärande: vi förinitierar först vårt nätverk för att lära oss verkliga djuprepresentationer, och sedan omskola dessa för att lära oss MPI-korrigeringar från syntetiska data. Den vänstra bilden visar en av våra syntetiska valideringsscener: vår metod (grön) ger en bättre passform för mark-sanningsdata än ToF-djup från kameran. I sekvensen till höger, illustrerar vi hur vårt system tillåter realtid MPI kompensation (10 millisekunder per ram) i verkliga scener fångas med ToF-enheter, bevara tidskonsistens. Se den kompletterande videon för fler resultat. Tid-för-flygning (ToF) avbildning har blivit en utbredd teknik för djupuppskattning, vilket gör det möjligt prisvärd off-the-shälf kameror att ge djupkartor i realtid. Multipatinterferens (MPI) till följd av indirekt belysning försämrar dock det infångade djupet avsevärt. De flesta tidigare arbeten har försökt lösa detta problem med hjälp av komplexa maskinvarumodifieringar eller kostsamma beräkningar. I detta arbete undviker vi dessa tillvägagångssätt och föreslår en ny teknik för att korrigera djupfel orsakade av MPI, vilket kräver inga kameraändringar och tar bara 10 millisekunder per ram. Våra observationer om arten av MPI tyder på att de flesta av dess information är tillgänglig i bildrymden; Detta gör att vi kan formulera djupavbildningsprocessen som en rumsligt varierande konvolution och använda en konvolutionella neurala nätverk för att korrigera MPI fel. Eftersom in- och utgående data uppvisar liknande struktur, baserar vi vårt nätverk på en autoenkoder, som vi tränar i två steg. Först använder vi kodaren (konvolutionsfiltren) för att lära sig en lämplig grund för att representera MPI-korruperade djupbilder; sedan tränar vi dekodern (dekonvolutionsfiltren) för att korrigera djup från syntetiska scener, genererade * En del av detta arbete gjordes under Julio Marcos praktik på Microsoft Research Asia. med hjälp av en fysiskt baserad, tidsupplöst render. Detta tillvägagångssätt gör det möjligt för oss att ta itu med ett nyckelproblem i ToF, bristen på mark-sanning data, genom att använda en storskalig fångad utbildning set med MPI-korrupterat djup för att utbilda kodaren, och en mindre syntetisk utbildning uppsättning med mark-sanning djup för att träna dekoder-stadiet i nätverket. Vi demonstrerar och validerar vår metod på både syntetiska och verkliga komplexa scenarier, med hjälp av en off-the-shelf ToF-kamera, och endast med det fångade, felaktiga djupet som ingång.
Marco och Al. använda en kodare för att lära sig en kartläggning från fångade ToF-mätningar till en representation av (MPI-korrupterad) djup, och sedan kombinera detta med ett begränsat antal simulerade, direkt-bara ToF-mätningar för att träna en dekoder som producerar MPI-korrigerade djupkartor REF.
DeepToF: Off-the-Shelf Real-Time Correction of Multipath Interference in Time-of-Flight Imaging
{'venue': 'ACM Transactions on Graphics 36, 6, Article 219 (November 2017)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}