Abstract-This paper tar upp uppgiften att utforma en modulär neural nätverk arkitektur som gemensamt löser olika uppgifter. Som exempel använder vi uppgifterna djupuppskattning och semantisk segmentering med en enda RGB-bild. Huvudfokus i detta arbete är att analysera det tvärmodala inflytandet mellan djup- och semantiska förutsägelsekartor på deras gemensamma förfining. Medan de flesta tidigare arbeten enbart fokuserar på att mäta förbättringar av noggrannheten, föreslår vi ett sätt att kvantifiera påverkan av korsmodalitet. Vi visar att det finns ett samband mellan slutlig noggrannhet och påverkan mellan olika transportsätt, även om det inte är en enkel linjär sådan. En större påverkan mellan olika transportsätt innebär därför inte nödvändigtvis att noggrannheten förbättras. Vi finner att en fördelaktig balans mellan påverkan mellan olika transportsätt kan uppnås genom nätverksarkitektur och antaganden om att detta förhållande kan användas för att förstå olika val av nätverksdesign. I detta syfte föreslår vi en Convolutional Neural Network (CNN) arkitektur som förenar tillståndet för de senaste resultaten för djupuppskattning och semantisk märkning. Genom att balansera crossmodalitetens påverkan mellan djup- och semantiska förutsägelser uppnår vi förbättrade resultat för båda uppgifterna med hjälp av NYU-Depth v2-riktmärket.
I arbetet REF analyserade författarna cross-modality influenser mellan semantisk segmentering och djupförutsägelse och konstruerade sedan en nätverksarkitektur för att balansera cross-modality influenser och uppnå förbättrade prestanda.
Analyzing Modular CNN Architectures for Joint Depth Prediction and Semantic Segmentation
{'venue': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Computer Science']}