I detta dokument formulerar vi struktur från rörelse som ett inlärningsproblem. Vi tränar ett konvolutionellt nätverk end-to-end för att beräkna djup och kamerarörelse från på varandra följande, okonstruerade bildpar. Arkitekturen består av flera staplade enkoder-dekoder nätverk, kärnan är ett iterativt nätverk som kan förbättra sina egna förutsägelser. Nätverket uppskattar inte bara djup och rörelse, utan dessutom ytnormaler, optiskt flöde mellan bilderna och förtroende för matchningen. En viktig del av tillvägagångssättet är en utbildningsförlust baserad på rumsliga relativa skillnader. Jämfört med traditionell tvåramsstruktur från rörelsemetoder är resultaten mer exakta och robusta. I motsats till det populära djupet från enkelbildsnätverk lär sig DeMoN begreppet matchning och därmed bättre generaliserar till strukturer som inte ses under utbildningen.
DeMoN REF är ett iterativt övervakat tillvägagångssätt för att gemensamt uppskatta optiskt flöde, djup och rörelse.
DeMoN: Depth and Motion Network for Learning Monocular Stereo
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}