Vi betraktar problemet med tät djupförutsägelse från en gles uppsättning djupmätningar och en enda RGB-bild. Eftersom djupuppskattning enbart från monokulära bilder i sig är tvetydig och opålitlig, för att uppnå en högre nivå av robusthet och noggrannhet, introducerar vi ytterligare glesa djup prover, som antingen förvärvas med en låg-upplösning djupsensor eller beräknas via visuell Simultanous Localization och Mapping (SLAM) algoritmer. Vi föreslår att man använder ett enda djupt regressionsnätverk för att lära sig direkt från RGB-D-rådata och undersöka hur antalet djupprover påverkar exaktheten i prognoserna. Våra experiment visar att, jämfört med att använda endast RGB-bilder, tillägget av 100 rumsligt slumpmässiga djup prover minskar förutsägelsen rot-medel-kvadrat fel med 50% på NYU-Depth-v2 inomhus dataset. Det ökar också andelen tillförlitliga förutsägelser från 59 % till 92 % i KITI-datasetet. Vi demonstrerar två tillämpningar av den föreslagna algoritmen: en plug-in modul i SLAM för att konvertera glesa kartor till täta kartor, och super-upplösning för LiDARs. Programvara 2 och videodemonstration 3 är allmänt tillgängliga.
I REF föreslås ett djupt generativt nätverk för multimodala djupprognoser från RGB-bilder och glesa djupmätningar.
Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image
{'venue': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2018 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Computer Science', 'Engineering']}