Abstract-Depth förutsägelse är ett av de grundläggande problemen i datorseende. I detta dokument föreslår vi ett enkelt men effektivt rumsligt förökningsnätverk (CSPN) för att lära sig affinitetsmatrisen för olika djupuppskattningsuppgifter. Specifikt är det en effektiv linjär förökning modell, där förökning utförs med ett sätt att återkommande konvolutionell operation, och affiniteten mellan angränsande pixlar lärs genom en djup convolutional neurala nätverk (CNN). Vi kan lägga till denna modul till alla utdata från ett toppmodernt (SOTA) djupuppskattningsnätverk för att förbättra deras prestanda. I praktiken utökar vi CSPN ytterligare i två avseenden: 1) tillåter det att ta sparsam djupkarta som ytterligare indata, vilket är användbart för uppgiften att slutföra djup [2], [3]; 2) utvidga till 3D CSPN för att hantera funktioner med en ytterligare dimension, liknande den vanliga 3D-konvolutionen. Det är effektivt i uppgiften att stereo matchning med 3D kostnadsvolym [4]. För uppgiften att uppskatta enstaka bilddjup och slutföra djup, experimenterar vi med de föreslagna CPSN-konjunktalgoritmerna över de populära NYU v2 [5] och KITTI [6]-dataseten, där vi visar att våra föreslagna algoritmer inte bara producerar hög kvalitet (t.ex. 30% mer minskning av djupfel), utan också kör snabbare (t.ex. 2 till 5 × snabbare) än tidigare SOTA-spatialt förökningsnätverk [7]. Vi utvärderade också vår stereo matchningsalgoritm på Scene Flow [8] och KITTI Stereo dataset [6], [9], och rankas 1:a på både KITTI Stereo 2012 och 2015 riktmärken, som visar effektiviteten av den föreslagna modulen. Den kod för CSPN som föreslås i detta arbete kommer att släppas på https://github.com/XinJCheng/CSPN.
CSPN REF utfördes väl med ett förenklat sekventiellt nätverk för att beräkna skillnader och ett konvolutionellt rumsligt spridningsnät för att förfina skillnaderna.
Learning Depth with Convolutional Spatial Propagation Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Medicine']}