Objekt kan visas på godtyckliga skalor i perspektivbilder av en scen, vilket utgör en utmaning för igenkänningssystem som behandlar bilder vid en fast upplösning. Vi föreslår en djupmedveten gating modul som adaptivt väljer pooling fältstorlek i en convolutional nätverk arkitektur enligt objektskala (omvänt proportionellt mot djupet) så att små detaljer bevaras för avlägsna objekt medan större mottagliga fält används för dem i närheten. Djupsignalen tillhandahålls av stereoskillnader eller uppskattas direkt från monokulära ingångar. Vi integrerar denna djup-medvetna gating i en återkommande konvolutionella neurala nätverk för att utföra semantiska segmentering. Vår återkommande modul förfinar iterativt segmenteringsresultaten och utnyttjar djup- och semantiska förutsägelser från tidigare iterationer. Genom omfattande experiment på fyra populära storskaliga dataset, visar vi detta tillvägagångssätt uppnår konkurrenskraftig semantisk segmentering prestanda med en modell som är betydligt mer kompakt. Vi utför omfattande analyser av denna arkitektur inklusive varianter som fungerar på monokulära RGB men använder djup som sidoinformation under träning, oövervakad gating som en generisk uppmärksamhetsmekanism, och multi-resolution gating. Vi finner att gated pooling för gemensam semantisk segmentering och djup ger state-of-the-art resultat för kvantitativ monocular djupuppskattning.
DjupSeg REF föreslår djupmedveten gating modul som använder djupuppskattningar för att adaptivt ändra pooling fältet storlek i hög nivå funktionskarta.
Recurrent Scene Parsing with Perspective Understanding in the Loop
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}