Abstract-Vi beskriver en semantisk kartläggningsalgoritm som lär sig mänskliga-centrerade miljömodeller genom att tolka ord i naturligt språk. Underliggande metoden är en kopplad metrisk, topologisk och semantisk representation av miljön som gör det möjligt för metoden att förena information från naturliga språkbeskrivningar med låg nivå metrisk och utseende data. Vi utökar tidigare arbete med en ny formulering som införlivar rumslig layout i en topologisk representation av miljön. Vi beskriver också en faktor graf formulering av semantiska egenskaper som kodar mänskligt-centriska begrepp såsom typ och colloquial namn för varje kartlagd region. Algoritmen härleder dessa egenskaper genom att kombinera användarens naturliga språkbeskrivningar med bild- och laserbaserad scenklassificering. Vi föreslår också en mekanism för att på ett mer effektivt sätt basera beskrivningarna av det naturliga språket i avlägsna regioner med hjälp av semantiska signaler från andra metoder. Vi beskriver hur algoritmen använder denna inlärda semantiska information för att föreslå giltiga topologiska hypoteser, vilket leder till mer exakta topologiska och metriska kartor. Vi visar att integration av språk med andra sensordata ökar noggrannheten i den uppnådda rumslig-semantiska representationen av miljön.
Naturliga språkbeskrivningar tillsammans med topologiska och semantiska representationer används för att semantiskt märka en inomhusmiljö i REF.
Learning spatial-semantic representations from natural language descriptions and scene classifications
{'venue': '2014 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2014 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Computer Science']}