Målet med vårt arbete är att slutföra djupkanalen för en RGB-D-bild. Djupkameror av varukvalitet kan ofta inte känna djupet för blanka, ljusa, genomskinliga och avlägsna ytor. För att ta itu med detta problem tränar vi ett djupt nätverk som tar en RGB-bild som ingång och förutspår täta ytnormaler och ocklusionsgränser. Dessa förutsägelser kombineras sedan med rådjupsobservationer som tillhandahålls av RGB-D-kameran för att lösa för djup för alla pixlar, inklusive de som saknas i den ursprungliga observationen. Denna metod valdes framför andra (t.ex., måla djup direkt) som ett resultat av omfattande experiment med en ny djup slutförande riktmärke dataset, där hål fylls i träningsdata genom rendering av ytrekonstruktioner som skapats från multiview RGB-D skanningar. Experiment med olika nätverksingångar, djuprepresentationer, förlustfunktioner, optimeringsmetoder, målningsmetoder och djupdjupsuppskattningsnätverk visar att vårt föreslagna tillvägagångssätt ger bättre djupkomplettering än dessa alternativ.
Nyligen, Zhang et al. REF föreslår att man förutsäger en normal yt- och ocklusionsgräns från ett djupt nätverk och vidare använder dem för att hjälpa till att slutföra djupet i inomhusscener.
Deep Depth Completion of a Single RGB-D Image
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}