Trots inlärningsbaserade metoder som visar lovande resultat i single view djupuppskattning och visuell odometri, de flesta befintliga metoder behandlar uppgifterna på ett övervakat sätt. Nya metoder för bedömning av djup i en enda vy utforskar möjligheten att lära sig utan full övervakning via minimering av fotometriska fel. I detta papper undersöker vi användningen av stereosekvenser för att lära djup och visuell odometri. Användningen av stereosekvenser gör det möjligt att använda både rumsliga (mellan vänster-höger par) och temporal (framåt) fotometriska warpfel, och begränsar scenens djup och kamerans rörelse att vara i en gemensam, realworld skala. Vid provtillfället kan vårt ramverk uppskatta single view djup och två-vy odometri från en monocular sekvens. Vi visar också hur vi kan förbättra en standard fotometrisk warpförlust genom att överväga en warp av djupa funktioner. Vi visar genom omfattande experiment att: (i) gemensam utbildning för single view djup och visuell odometri förbättrar djupförutsägelse på grund av den ytterligare begränsning som åläggs på djup och uppnår konkurrenskraftiga resultat för visuell odometri; (ii) djup funktionsbaserad warpförlust förbättrar vid enkel fotometrisk warpförlust för både enkelseende djupuppskattning och visuell odometri. Vår metod överträffar befintliga inlärningsbaserade metoder på KITTI-kördatauppsättningen i båda uppgifterna. Källkoden finns tillgänglig på https://github.com/Huangying-Zhan/ Deph-VO-Feat.
REF lärde sig gemensamt en enda vy djup estimator och monocular odometrie estimator med stereo videosekvenser, vilket gör det möjligt att använda både rumsliga och temporal fotometriska warp begränsningar.
Unsupervised Learning of Monocular Depth Estimation and Visual Odometry with Deep Feature Reconstruction
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}