Vi presenterar en ny metod för samtidigt lärande djup, egorörelse, objektrörelse, och kamera inneboende från monokulära videor, med endast konsistens över angränsande videoramar som en övervakning signal. På samma sätt som tidigare arbete lär sig vår metod genom att tillämpa differentiable warping på ramar och jämföra resultatet med angränsande, men det ger flera förbättringar: Vi hanterar ocklusioner geometriskt och differentierat, direkt med hjälp av de djupkartor som förutses under utbildningen. Vi introducerar randomiserade lager normalisering, en ny regularizer, och vi förklarar för objekt rörelse i förhållande till scenen. Såvitt vi vet är vårt arbete det första som lär sig kamerans inneboende parametrar, inklusive linsförvrängning, från video på ett oövervakat sätt, vilket gör det möjligt för oss att extrahera exakt djup och rörelse från godtyckliga videor av okänt ursprung i skala. Vi utvärderar våra resultat på Cityscapes, KITTI, och EuRoC MAV dataset, etablera nya state of the art på djup förutsägelse och odometri, och visar kvalitativt att djup förutsägelse kan läras från en samling YouTube-videor. Koden är allmänt tillgänglig 1.
Det första arbetet med att lära kameran inneboende parametrar och scendjup från monokulära video på ett oövervakat sätt föreslogs av Gordon et al. REF Detta arbete kan förutsäga exakt djup och rörelse från godtyckliga videor.
Depth From Videos in the Wild: Unsupervised Monocular Depth Learning From Unknown Cameras
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}