Utplacering av djupt lärande modeller i robotik som sensoriska informationsextraktorer kan vara en skrämmande uppgift att hantera, även med hjälp av generiska GPU-kort. Här tar vi itu med tre av dess mest framträdande hinder, nämligen i) anpassningen av en enda modell för att utföra flera uppgifter samtidigt (i detta arbete anser vi djupuppskattning och semantisk segmentering avgörande för att förvärva geometrisk och semantisk förståelse av scenen), medan ii) göra det i realtid, och iii) använda asymmetriska datauppsättningar med ojämnt antal annoteringar per varje modalitet. För att lösa de två första frågorna anpassar vi ett nyligen föreslaget semantiskt segmenteringsnätverk i realtid, vilket gör ändringar för att ytterligare minska antalet flyttalsoperationer. För att ta itu med den tredje frågan välkomnar vi en enkel lösning som bygger på destillering av hård kunskap under antagandet att vi har tillgång till ett kraftfullt "lärarnätverk". Vi visar hur vårt system enkelt kan utökas för att hantera fler uppgifter, och fler datauppsättningar, alla på en gång, utför djupuppskattning och segmentering både inomhus och utomhus med en enda modell. Kvantitativt, vi uppnår resultat som motsvarar (eller bättre än) nuvarande state-of-the-art metoder med en framåt pass kostar bara 13 ms och 6,5 GFLOPs på 640×480 ingångar. Denna effektivitet gör att vi direkt kan införliva de råa förutsägelserna i vårt nätverk i SemanticFusion-ramverket [1] för tät 3D semantisk rekonstruktion av scenen. 3 2019 International Conference on Robotics and Automation (ICRA) Palais des congres de Montreal,
På samma sätt undersökte Nekrasov REF och kollegor kopplingarna mellan djupuppskattning och semantisk segmentering med fokus på effekterna av asymmetriska datauppsättningsstorlekar.
Real-Time Joint Semantic Segmentation and Depth Estimation Using Asymmetric Annotations
{'venue': '2019 International Conference on Robotics and Automation (ICRA)', 'journal': '2019 International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Computer Science', 'Engineering']}