Vi presenterar ett nytt tillvägagångssätt för oövervakad inlärning av djup och ego-rörelse från monokulära video. Oförutsedd inlärning tar bort behovet av separata övervakningssignaler (djup eller ego-motion grund sanning, eller multi-view video). Tidigare arbete i oövervakad djupinlärning använder pixel-wise eller gradient-baserade förluster, som endast betraktar pixlar i små lokala stadsdelar. Vårt huvudsakliga bidrag är att explicit överväga den infererade 3D-geometrin i hela scenen, och se till att de uppskattade 3D-punktmolnen och egorörelserna är konsekventa över på varandra följande ramar. Detta är en utmanande uppgift och löses av en ny (ungefärlig) backpropagation algoritm för att anpassa 3D strukturer. Vi kombinerar denna nya 3D-baserade förlust med 2D-förluster baserade på fotometrisk kvalitet av ramrekonstruktioner med hjälp av uppskattat djup och ego-rörelse från angränsande ramar. Vi införlivar också giltighetsmasker för att undvika att bestraffa områden där det inte finns någon användbar information. Vi testar vår algoritm på KITTI-datasetet och på ett videodataset fångat på en okalibrerad mobiltelefonkamera. Vårt föreslagna tillvägagångssätt förbättrar konsekvent djupuppskattningar på båda datamängderna, och överträffar den senaste tekniken för både djup- och egorörelse. Eftersom vi bara behöver en enkel video, lärande djup och ego-rörelse på stora och varierande dataset blir möjligt. Vi demonstrerar detta genom att träna på det okalibrerade videodatasetet av låg kvalitet och utvärdera på KITTI, där vi rankar bland de bästa som utför tidigare metoder som är utbildade på själva KITTI. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Den 3D-punkt moln anpassning förlust infördes i REF.
Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}