Abstract-Vårt långsiktiga mål är att utveckla robotar som engagerar sig i naturliga språkmedierade samarbeten med människor. För att stödja detta mål håller vi på att utveckla enmodal representation och tillhörande processer som kallas en grundad situationsmodell (GSM). Vi utvecklar också en modulär arkitektur där GSM finns i en centralt placerad modul, runt vilken det finns språk, perception och åtgärdsrelaterade moduler. GSM fungerar som en sensoruppdaterad "strukturerad svarttavla", som fungerar som en arbetsyta med innehåll som liknar ett "teatralt stadium" i robotens "sinne", som kan fyllas i med nuvarande, tidigare eller inbillade situationer. Två huvudsakliga desiderata driver utformningen av GSM: för det första, "parsing" situationer i ontologiska typer och relationer som speglar mänskligt språk semantik, och för det andra, vilket möjliggör dubbelriktad översättning mellan sensoriska-härledda data/förväntningar och språkliga beskrivningar. Vi presenterar ett implementerat system som tillåter en rad konversations- och assistansbeteenden av en manipulatorrobot. Roboten uppdaterar övertygelser (som finns i GSM) om sin fysiska miljö, den mänskliga användaren, och sig själv, baserat på en blandning av språkliga, visuella och proprioceptiva bevis. Den kan svara på grundläggande frågor om nuet eller det förflutna och även utföra handlingar genom verbal interaktion. Viktigast av allt, ett nytt bidrag av vårt tillvägagångssätt är robotens förmåga till sömlös integration av både språk- och sensorbaserad information om situationen: Till exempel kan systemet förvärva delar av situationer antingen genom att se dem eller genom att "tänka" dem genom beskrivningar som ges av användaren: "Det finns en röd boll till vänster". Dessa situationer kan senare användas för att skapa mentala bilder och sensoriska förväntningar, vilket möjliggör ovan nämnda dubbelriktadhet. I. ROBOTER, SPRÅK OCH MODULÄRITET När robotar växer i förmåga och komplexitet, är naturligt språk sannolikt att anta en alltmer central roll i humanrobotinteraktion. Vårt nuvarande arbete är en del av ett större arbete för att utveckla konversationsgränssnitt för interaktiva robotar ([3], [6], [11], [8]). Robotar som förstår och använder naturligt språk kan hitta tillämpning inom underhållning, hjälpmedel och utbildningsdomäner. Sådana interaktiva robotar är utmärkta exempel på system där integration av många tekniker på komplexa sätt krävs, och därmed väl utformade modularitet är nödvändigt. En av de största utmaningarna som man står inför när man utformar ett sådant system är att koppla samman perceptuella/motoriska talmoduler: befintliga system för bearbetning av naturligt språk (NLP) kan inte bara "plugga och spela". En historisk orsak till denna inkompatibilitet är att utvecklingen av NLP och robotik har fortskridit med relativt lite interaktion. NLP handlar om den diskreta, symboliska världen av ord och meningar medan robotik den kontinuerliga och stokastiska: man måste konfrontera den bullriga, osäkra naturen av fysiskt förkroppsligade system med sensorisk-motorisk jordad interaktion. Nuvarande beräkningsmodeller för semantik som används i NLP är varianter av "lexikondefinitioner", i huvudsak strukturerade nätverk av ordlika symboler. Det är omöjligt att direkt tillämpa dessa metoder på något principfast sätt att förse robotar med språkliga färdigheter eftersom de underliggande teorierna om semantik i symbolbaserade NLP inte ger någon lämplig "hooks" för handling och perception [9]. Vi anser att ett viktigt steg mot att överbrygga språk-robotklyftan är att utveckla nya kunskaps representationer som underlättar cross-modal interoperabilitet. Motiverade av dessa farhågor, har vi utvecklat en grundlagd situation modell (GSM) som ligger i centrum för vår föreslagna modulära arkitektur. GSM fungerar som en sensoruppdaterad "strukturerad svarttavla", som fungerar som en arbetsyta med innehåll som liknar ett "teatralt stadium" i agentens "sinne", som kan fyllas i med nuvarande, tidigare eller inbillade situationer. Det ger anslutningspunkter till både talbehandling (genom diskreta verbala kategorier) och till perceptuella/motoriska delsystem (genom kontinuerliga / stokastiska beskrivningar). När man bygger konversationssystem måste man välja en delmängd av det mänskliga språket som ska produceras/bestämmas. Även om vi så småningom vill ha robotar som kan samtala om en rad abstrakta ämnen, är en naturlig utgångspunkt att utveckla medel för robotar att tala om deras omedelbara fysiska och sociala sammanhang. Detta motsvarar utvecklingen av semantik från betong till abstrakta domäner hos barn [10]. Ett centralt problem när det gäller att koppla samman språk och uppfattning är risken för bristande överensstämmelse mellan olika nivåer av specificitet. Till exempel den beskrivande frasen "det finns en kopp på bordet" och den visuella observationen av bägaren kommer att leda till konsekvent kunskap men med mycket olika nivåer av specificitet. Den språkliga beskrivningen ger inte information om storleken, orienteringen och färgen på koppen, och ger bara gränser på sin plats (det är någonstans på bordet). Visuell uppfattning i kontrast kommer att ge mycket mer detaljer. Hur kan en robot översätta mellan sådana olika kunskapskällor? Mer allmänt skiljer sig sensoriska, motoriska och språkliga källor åt i fråga om grad av specificitet/ambiguitet, men måste ändå anpassas till sensorisk kontroll, korsmodal trosförökning och handling.
Utan att överväga inlärning föreslog REF en lagerbaserad situationsmodell bestående av tre lager som går från kontinuerlig till symbolisk representation och gör det möjligt för roboten att förstå den nuvarande situationen, resonera om sin egen erfarenhet och göra förutsägelser.
Grounded Situation Models for Robots: Where words and percepts meet
{'venue': '2006 IEEE/RSJ International Conference on Intelligent Robots and Systems', 'journal': '2006 IEEE/RSJ International Conference on Intelligent Robots and Systems', 'mag_field_of_study': ['Computer Science']}