Multiview stereo syftar till att rekonstruera scenen djup från bilder förvärvade av en kamera under godtycklig rörelse. Nya metoder tar itu med detta problem genom djupt lärande, som kan använda semantiska signaler för att hantera utmaningar som texturlösa och reflekterande regioner. I detta dokument presenterar vi ett konvolutionellt neuralt nätverk som kallas DPSNet (Deep Plane Sweep Network) vars design är inspirerad av bästa praxis av traditionella geometri-baserade metoder för tät djup rekonstruktion. I stället för att direkt uppskatta djup och / eller optisk flödeskorrespondens från bildpar som gjorts i många tidigare djupt lärande metoder, DPSNet tar en plan svep metod som innebär att bygga en kostnadsvolym från djupa funktioner med hjälp av planet svep algoritm, legalisera kostnadsvolymen via en contextaware kostnadsaggregation, och regressera den täta djupkarta från kostnadsvolymen. Kostnadsvolymen är konstruerad med hjälp av en differentierad warpprocess som gör det möjligt för end-to-end utbildning av nätverket. Genom ett effektivt införlivande av konventionella multiviewstereokoncept inom en djupinlärning ram, DPSNet uppnår state-of-the-art återuppbyggnadsresultat på en mängd olika utmanande datauppsättningar.
DPSNet REF införde också en differentierad warpmodul för end-to-end-utbildning och uppnådde en toppmodern djupuppskattningsnoggrannhet.
DPSNet: End-to-end Deep Plane Sweep Stereo
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}