Abstract-Vi undersöker möjligheterna hos Auto-Encoders att sammansmälta den information som finns tillgänglig från kameror och djupsensorer, och att rekonstruera saknade data, för scenförståelse uppgifter. I synnerhet överväger vi tre indatasätt: RGB-bilder, djupbilder och semantisk etikettinformation. Vi försöker generera kompletta scensegmenteringar och djupkartor, givna bilder och partiella och/eller bullriga djup- och semantiska data. Vi formulerar detta mål att rekonstruera en eller flera typer av scendata med hjälp av en multimodal staplad Auto-Encoder. Vi visar att lämpligt utformade Multi-modal Auto-Encoders kan lösa djupuppskattningen och de semantiska segmenteringsproblemen samtidigt, i den partiella eller till och med fullständiga avsaknaden av några av inmatningsmetoderna. Vi demonstrerar vår metod med hjälp av utomhusdatasetet KITTI som inkluderar LIDAR och stereokameror. Våra resultat visar att som ett sätt att uppskatta djup från en enda bild, vår metod är jämförbar med state-of-the-art, och kan köras i realtid (dvs. mindre än 40 ms per ram). Men vi visar också att vår metod har en betydande fördel jämfört med andra metoder genom att den sömlöst kan använda ytterligare data som kan finnas tillgängliga, såsom en gles punkt-moln och / eller ofullständiga grova semantiska etiketter.
Cadena m.fl. REF utvecklade en multimodal autokodare för att lära sig av tre indatametoder, inklusive RGB, djup och semantiska etiketter.
Multi-modal Auto-Encoders as Joint Estimators for Robotics Scene Understanding
{'venue': 'Robotics: Science and Systems', 'journal': None, 'mag_field_of_study': ['Computer Science']}