Att lära sig förutsäga scendjup från RGB-ingångar är en utmanande uppgift både för robotnavigering inomhus och utomhus. I detta arbete tar vi upp oövervakad inlärning av scendjup och robot ego-rörelse där övervakning tillhandahålls av monokulära videor, eftersom kameror är den billigaste, minst restriktiva och mest allmänt förekommande sensor för robotik. Tidigare arbete med oövervakat bild-till-djup-inlärning har etablerat starka baslinjer inom området. Vi föreslår ett nytt tillvägagångssätt som ger resultat av högre kvalitet, kan modellera rörliga objekt och visas för överföring över datadomäner, t.ex. från utomhus till inomhusscener. Huvudidén är att introducera geometrisk struktur i inlärningsprocessen, genom att modellera scenen och de enskilda objekten; kamera ego-rörelse och objektrörelser lärs från monokulära videor som ingång. Dessutom införs en online-förfiningsmetod för att anpassa lärandet i farten till okända domäner. Det föreslagna tillvägagångssättet överträffar alla state-of-the-art metoder, inklusive de som hanterar rörelse t.ex. genom inlärt flöde. Våra resultat är jämförbara i kvalitet med dem som använde stereo som övervakning och avsevärt förbättra djupförutsägelse på scener och dataset som innehåller en hel del objektrörelse. Tillvägagångssättet är av praktisk betydelse, eftersom det möjliggör överföring över miljöer, genom att överföra modeller som är utbildade på data som samlats in för robotnavigering i urbana miljöer till inomhusnavigeringsinställningar. Koden för detta dokument finns på https://sites.google.com/ view/struct2deeplication. Att förutsäga scendjup från indatabilder är viktigt för robotnavigering, både för inomhus- och utomhusinställningar. Supervised tät djup förutsägelse per enda bild har varit mycket framgångsrik med djupa neurala nätverk (Eigen, Puhrsch, och Fergus 2014; Laina et al. 2016; Wang, Fouhey och Gupta 2015; Li, Klein och Yao 2017), där lärda modeller övertygande överträffar dem med handgjorda funktioner (Ladicky, Zeisl, och Pollefeys 2014; Karsch, Liu, och Kang 2014a). Men övervakad inlärning av scendjup kräver dyra djupsensorer som kanske inte är lätt tillgängliga i de flesta robotscenarier och kan införa sina egna sensorbuller. I detta syfte har ett antal oövervakade bild-till-djup metoder föreslagits, som visar att oövervakade djup förutsägelse modeller är mer * Arbete gjort medan på Google Brain. exakt än sensor-övervakade Garg, Carneiro, och Reid 2016), främst på grund av problem med sensoravläsningar, t.ex.. saknade eller bullriga sensorvärden. Denna forskning ledde till ett antal förbättringar där oövervakade metoder har minskat förutsägelser fel avsevärt, inklusive metoder som använder stereo (Godard, Aodha, och Brostow 2017), eller självständigt utbildade optiska flödesmodeller under lärande (Wang et al. Kommissionens genomförandeförordning (EU) nr 668/2014 av den 13 juni 2014 om tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1151/2012 om kvalitetsordningar för jordbruksprodukter och livsmedel (EUT L 179, 19.6.2014, s. 1). Vi föreslår ett nytt tillvägagångssätt som explicit modellerar 3D-rörelser av rörliga föremål, tillsammans med kamerans egorörelse, och anpassar sig till nya miljöer genom att lära sig med en online-förfining av flera ramar. Med ett principfast sätt att hantera rörelse och en nyligen införd objektstorleksbegränsning är vi de första som effektivt lär oss från mycket dynamiska scener i en monokulär miljö. Vårt arbetssätt introducerar struktur i inlärningsprocessen genom att representera objekt i 3D och modellera rörelse som SE3 transformerar; detta görs genom helt olika operationer och tränas från okalibrerade monokulära videor. Omfattande experiment utförs på två allmänt tillgängliga dataset. Vår algoritm ger betydande förbättringar på både datauppsättningar och på både djup- och egorörelseuppskattning, jämfört med den senaste tekniken; vår metod är också konkurrenskraftig mot modeller som tränas med stereo. Dessutom utvärderar vi direkt domänöverföring, genom att träna på en datauppsättning och testa på en annan, utan finjustering. Vi presenterar överföringsresultat över KITTI och Cityscapes, samt utbildning i Cityscapes och testning på en inomhus Robot Navigation dataset. Detta visar att metoden är tillämplig på alla områden och att det kanske inte behövs någon uttömmande uppgiftsinsamling för utbildning. De åtgärder som föreskrivs i denna förordning är förenliga med yttrandet från ständiga kommittén för växter, djur, livsmedel och foder.
Kassör et al. REF presenterar en oövervakad bild-till-djup ram som modellerar rörelse av rörliga objekt och kameror.
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}