Det senaste arbetet har visat att konvolutionella neurala nätverk (CNN) kan tillämpas framgångsrikt i skillnad uppskattning, men dessa metoder lider fortfarande av fel i regioner med låg textur, ocklusioner och reflektioner. Samtidigt har djupt lärande för semantisk segmentering visat stora framsteg under de senaste åren. I den här artikeln utformar vi en CNN-arkitektur som kombinerar dessa två uppgifter för att förbättra kvaliteten och noggrannheten i olika bedömningar med hjälp av semantisk segmentering. Vi föreslår särskilt en nätverksstruktur där dessa två uppgifter är starkt sammankopplade. En viktig nyhet i detta tillvägagångssätt är den tvåstegsförfiningsprocessen. De första uppskattningarna av skillnaderna förfinas med hjälp av en inbäddning från nätverkets semantiska segmenteringsgren. Den föreslagna modellen tränas med en oövervakad metod, där bilder från ena halvan av stereoparet förvrängs och jämförs mot bilder från den andra kameran. En annan viktig fördel med det föreslagna tillvägagångssättet är att ett enda nät kan ge upphov till olika uppskattningar och semantiska märkningar. Dessa resultat är av stor nytta i autonoma fordon drift; med realtidsbegränsningar är avgörande, sådana prestandaförbättringar ökar livskraften hos körapplikationer. Experiment på datauppsättningar för KITTI och Cityscapes visar att vår modell kan uppnå toppmoderna resultat och att utnyttjande av inbäddning från semantisk segmentering förbättrar prestandan av skillnadsuppskattning.
Ett nytt arbete, DispSegNet REF concatenated semantic segmentation embeddings med de inledande skillnader uppskattningar innan de skickas till den andra etappen förfining nätverk som förbättrade skillnaden uppskattning i illa placerade regioner.
DispSegNet: Leveraging Semantics for End-to-End Learning of Disparity Estimation from Stereo Imagery
{'venue': 'IEEE Robotics and Automation Letters, vol. 4, no. 2, pp. 1162-1169, April 2019', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Engineering']}