Abstrakt. Semantisk märkning av RGB-D-scener är avgörande för många intelligenta applikationer inklusive perceptuell robotik. Den genererar pixelvisa och finkorniga etikettkartor från samtidigt avkännbara fotometriska (RGB) och djupkanaler. Detta dokument behandlar detta problem genom att i) utveckla en roman Long Short-Term Memorized Context Fusion (LSTM-CF) Modell som fångar och säkrar kontextuell information från flera kanaler av fotometriska och djupdata, och ii) införliva denna modell i djupa konvolutionella neurala nätverk (CNNs) för end-to-end utbildning. Kontexterna i fotometriska kanaler och djupkanaler fångas specifikt genom att stapla flera konvolutionella lager och ett långt kortfristigt minneslager; minneslagret kodar för både korta och långa rumsliga beroenden i en bild längs den vertikala riktningen. Ett annat kortvarigt, memorerat fusionslager sätts upp för att integrera sammanhangen längs den vertikala riktningen från olika kanaler, och utföra dubbelriktad spridning av de sammanslagna vertikala sammanhangen längs den horisontella riktningen för att erhålla sanna 2D globala sammanhang. Äntligen är den sammanslagna kontextuella representationen sammansvetsad med de konvolutionella egenskaper som extraheras från de fotometriska kanalerna för att förbättra noggrannheten i finskalig semantisk märkning. Vår föreslagna modell har satt en ny toppmodern, dvs. 48,1 % och 49,4 % genomsnittlig klassnoggrannhet över 37 kategorier (2,2 % respektive 5,4 % förbättring) på de storskaliga SUNRGBD-dataseten respektive NYUDv2-datasetet.
I REF föreslås en sammanhållen fusionsmodell för långtidsminne (LSTM) som fångar upp och säkrar kontextuell information från flera metoder som förklarar det komplexa ömsesidiga beroendet mellan dem.
LSTM-CF: Unifying Context Modeling and Fusion with LSTMs for RGB-D Scene Labeling
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}