Artiklar En ny generation kognitiva robotar har dykt upp under de senaste åren för att ge människor service, omsorg och kamratskap. För att stödja en naturlig dialog mellan en människa och dessa robotar har teknik som möjliggör en grundad språkkommunikation blivit allt viktigare. Under dialogen mellan människor och robotar, med tanke på ett mänskligt uttalande, måste roboten förstå vilka objekt och aktiviteter i sin representation av den upplevda världen som människan talar om. När människan utfärdar ett språkkommando måste roboten identifiera en sekvens av lågnivåoperationer för att utföra det kommandot. För att stödja dessa förmågor tar språkgrunden upp problemet med att koppla det mänskliga språket till världens interna robotrepresentationer, som inkluderar robotens kunskap om världen, uppfattningen om miljön och kontrollen av handlingar som kan förändra världen. Det är först när sådan grundläggning görs som roboten kan förstå mänskligt språk, följa språkinstruktioner och kommunicera med människor i språk. Men grundspråk till robotens interna sensorimotoriska representationer är extremt utmanande. För examen- ple, grundspråk till perception kräver roboten för att bearbeta upplevda visuella signaler och infer hög nivå begrepp och strukturer (t.ex. objekt, åtgärder, m.fl.). Hur man underbygger språkliga uttryck till de underliggande numeriska visuella dragen och hur man skaffar sig och lär sig baserade semantiska modeller blir kritiska frågor. På samma sätt kräver grundspråket till åtgärder roboten för att göra kopplingar mellan högnivåkoncept (t.ex. uttryckt med ett verb) och det lågnivå robotiska styrsystemet, som ofta programmeras för att styra endast en uppsättning primitiva operationer (t.ex. flytta till, öppna grepp och nära grepp för en robotarm). Hur man skaffar sig och lär sig grundbetydelser av begrepp som kan stödja automatisk planering för primitiv robotik är en annan kritisk fråga. Språklig grund för uppfattning och handling kompliceras ytterligare av bristen på gemensam grund när det gäller att representera den gemensamma världen. Jämfört med mänskliga partners, robotar har missmatchade förmåga i uppfattning och resonemang. Som visas i figur 1, Även om en människa och en robot är närvarande i en delad fysisk värld, deras representationer av den gemensamma miljön och gemensamma uppgifter är betydligt missriktade. Människan, som har högre kapacitet, kan ha berikade representationer, medan roboten med lägre kapacitet bara kan ha utarmade representationer av samma värld. Så även om de är närvarande, delar de inte gemensam perceptuell erfarenhet, vilket kommer att äventyra den gemensamma grunden för den gemensamma miljön. Kommunikationen mellan människor och robotar kommer att bli svår. Till exempel, människan kan ange "den blå koppen bredvid pandan", men roboten kanske inte kan förstå vilket objekt i dess representation hänvisas till om koppen inte kan kännas igen korrekt. Detta är ett typiskt problem med grundad språktolkning. På liknande sätt, för språkgeneration, anta att roboten vill hänvisa till den blå koppen (men inte kan känna igen den korrekt). Roboten kan använda språket "det lilla vita blå objektet, bredvid ett stort objekt." Det kommer att bli svårt för människan att förstå vilket objekt i hans/hennes representation som omtalas. På grund av dessa svårigheter kan språkbaserad grundläggning ofta inte lyckas med ett enda försök, utan uppnås snarare genom en samarbetsprocess mellan människor och robotar som bygger på flera iterationer (till exempel genom refassion, klargörande och andra). Därför måste algoritmer för språkbaserad dialog i människa-robot ta hänsyn till samarbete.  För att ta itu med dessa frågor har gruppen för språk- och interaktionsforskning (LAIR) vid Michigan State University undersökt flera aspekter av samverkande språkbaserade metoder för att skapa en dialog mellan människor och roboter. Denna artikel ger en översikt över denna forskning. Det börjar med ett simuleringsförsök för att undersöka samarbetsinsatser för att förmedla en delad perceptuell grund mellan mänskliga partner med missmatchade perceptuella kapaciteter. Därefter beskrivs tillvägagångssätt som inkluderar samarbete till grundspråk till perception som motiverats av observationer från mänskliga kommunikationsstudier. Den delar också två experiment som visar fördelen av samverkan från roboten i språk jordning för att minska perceptuella skillnader. Förutom att diskutera grundspråk till perception, ger denna artikel också en kort introduktion till grundspråk till handling, med fokus på representationer av grundat verb semantik och deras förvärv genom samarbete steg-för-steg språkinstruktioner. Delad Perceptuell grund I samtal samordnar deltagarna sina mentala tillstånd baserat på deras ömsesidiga förståelse av deras avsikt, mål och aktuella uppgifter (Austin 1962, Grice 1975, Clark 1996 ). Ett viktigt begrepp, som också är avgörande för kommunikationens framgång, är en gemensam grund. Enligt Clark (1996), "två människors gemensamma grund är i själva verket summan av deras ömsesidiga, gemensamma eller gemensamma kunskap, övertygelser och antaganden." Vad som gör det möjligt för deltagarna att framgångsrikt etablera en gemensam grund beror till stor del på de gemensamma grunderna: deras gemensamma erfarenheter, händelser eller episoder. En typ av delad grund, som är oerhört viktig för lokaliserad kommunikation, är den perceptuella grunden, som beskriver gemensamma perceptuella erfarenheter. Clark (1996) förklarar att: Var och en av oss lever i en värld av märkbara saker, väsen kan vi titta på, känna, höra, lukta, smak. När som helst har vi perceptuell tillgång, med mer eller mindre ansträngning, till endast en del av den världen, vårt perceptuella skal. Du och jag har tydliga perceptuella skal, men när vi är tillsammans, överlappar de varandra. Men att ha överlappande perceptuella skal räcker inte för perceptuell koresens. Du och jag lyckas ta hand om samma saker och bli övertygade om att vi har gjort det på rätt sätt. Som visas i figur 1, även om människor och robotar är närvarande, deras perceptuella skal inte längre överlappar på grund av deras bristande förmåga. Detta skiljer sig helt från mänsklig kommunikation. Således är en kritisk fråga hur människor med missmatchade perceptuella förmågor kommunicerar med varandra för att etablera en gemensam perceptuell grund. Även om tidigare verk har studerat rollen av missmatchade rumsliga resonemang kapacitet och olika kultur bakgrund i mänsklig-mänsklig kommunikation, har missmatchade perceptuella kapaciteter inte behandlats. Eftersom det är svårt att rekrytera människor med mätbara skillnader i perceptuella förmågor, utvecklades ett simuleringssystem för att utföra experiment som visas i figur 2. I ena änden av systemet är en regissör som antas ha högre perceptuella förmågor; och i den andra änden är en matcher som antas ha lägre perceptuella förmågor. För att simulera skillnader i perception ges regissören en originalbild och matcher ges en utarmad bild, som återges genom att tillämpa en enkel datorseende algoritm på den ursprungliga scenen. Vissa objekt som regissören har tillgång till har ett unikt namn. Regissörens mål är att meddela namnen på objekten till tändstickan så att tändstickan kommer till en förståelse för vilket objekt som har vilket namn. Med hjälp av detta system genomförde vi flera användarstudier och samlade in en uppsättning konversationsdata som visade hur regissören och matcher strävade efter att minska perceptuella skillnader och nå en ömsesidig förståelse av objektnamn. Figur 2 visar också ett exempel på samarbetsdialog mellan direktören (D) och matcher (M). Detta exempel visar likheter i samverkande beteenden som identifierats i samverkan referenskommunikation. Clark och Wilkes-Gibbs (1986) beskriver referenskommunikation som en samarbetsprocess enligt principen om minst samarbetsinsats: "talare och mottagare försöker minimera samarbetsinsatser, arbetet både talare och mottagare gör från början av referensprocessen till dess slutförande." Som visas i figur 2, parterna gör extra ansträngningar för att hänvisa och marken sina referenser. Till exempel, i stället för att direkt gå till "gulpeppar" och förmedla sitt namn "Brittany", regissören tar en extra ansträngning genom att börja med "ett kluster av fyra objekt i den övre vänstra." Direktören går sedan igenom steg-för-steg avbetalningar (Clark och Wilkes-Gibbs 1986) och väntar på matcher's acceptans innan du tar ytterligare ett steg som leder närmare det riktade objektet (det vill säga den gula pepparn). Matcharen gör också en extra ansträngning. Matcharen ger inte bara feedback och bekräftelse vid varje steg, utan matcher ger också ytterligare beskrivningar om vad matcher uppfattar från miljön. Spatial uttryck används ofta för att beskriva objekt i miljön, som omfattar inte bara binära relationer (t.ex. "den till vänster om den blå koppen"), men också gruppbaserade beskrivningar (t.ex. "en kluster av fyra objekt i övre högra). Beräkningsmodeller för både språktolkning (t.ex. referensupplösning) och språkgenerering (t.ex. hänvisning till uttrycksgenerering) måste därför modellera olika rumsliga relationer och ta hänsyn till samarbete. Articles Grounding Language to Perception De senaste åren har en ökande mängd arbete på grundspråk till visuell perception (Tellex et al. 2011; Matuszek et al. 2012; Yu och Siskind 2013; Naim et al. 2015; Yang m.fl. 2016)................................................................. På Lair-labbet fokuserar vi på samarbete inom grundspråk till perception. Med början i förenklade scener har vi utvecklat samarbetsmodeller för språkbaserad grundläggning som är nödvändiga för både språktolkning och språkgeneration. Språktolkning hänvisar till problemet med att grunda det mänskliga språket på robotens interna representation av den upplevda världen. Detta innebär ofta att hänvisa uttryck (t.ex. "en klunga av fyra objekt", "en blå kopp" och andra från regissörens uttalanden i figur 2) till den yttre världen uppfattas av roboten. Att förstå vilka objekt som omtalas är en utmaning med tanke på att de underliggande representationerna inte stämmer överens med varandra. Men, som visas i figur 2, i takt med att samverkansdiskussionen utvecklas, kan referensuttryck vara omoderna och mer bevis (t.ex. genom olika rumsliga eller grupprelationer) kan tillhandahållas av direktören. Därför är det viktigt att hålla reda på olika relationer och använda dessa relationer för att identifiera målobjekt. Ett effektivt sätt att fånga relationer är genom grafer. I detta avsnitt introduceras grafbaserade metoder för tolkning och grundläggning av agenters uppfattningar. Tilldelade relationsdiagram är särskilt lämpliga för att representera den upplevda miljön och samtalssamtal (Chai, Hong, och Zhou 2004; Liu, Fang, och Chai 2012; Fang, Liu, och Chai 2012). Figur 3 visar ett exempel på grafens representation. När konversationen utspelar sig konstrueras ett språkdiagram där varje nod fångar ett hänvisningsuttryck (t.ex. "gulpeppar") och de önskade attributen för de jordade referenserna (t.ex. typ: peppar; färg: gul). Olika relationer såsom rumsliga relationer mellan olika referensuttryck fångas av kanterna i grafen. På samma sätt kan de upplevda objekten och deras rumsliga relationer representeras av ett bilddiagram. Varje nod i synkurvan fångar de numeriska egenskaper på lägre nivå som är förknippade med olika dimensioner av perception. Kanterna i synkurvan fångar de rumsliga sambanden mellan varje par av upplevda objekt. Således, med tanke på ett språk graf och en vision graf, problemet med att tolka hänvisningsuttryck blir en graf matchande problem som finner en bästa matchning mellan noder och kanter i språket graf till noderna och kanterna i vision grafen som uppnår maximal kompatibilitet mellan de två graferna. Grafens kompatibilitet kan mätas baserat på nodkompatibilitet och kantkompatibilitet. Node/edge kompatibiliteter kan ytterligare brytas ned i matchen mellan en uppsättning språkdeskriptorer (t.ex. färgen "gul" eller storleken "stor") och de lägre nivåernas numeriska egenskaper (t.ex. färghistogrammet eller storleken på den avgränsande rutan). Dessa matchningar mellan språkdeskriptorer och motsvarande funktioner kallas också semantiska grundfunktioner. Olika vikter kan associeras med semantiska jordningsfunktioner för att indikera styrkan i en viss dimension av perception som tillämpas på den totala matchningen. Med tanke på denna grafmatching formulering, kan olika metoder tillämpas för att få en lösning, till exempel genom girig strålsökning algoritmer som beskrivs i Liu, Fang, och Chai (2012) eller probabilistic matchning med hjälp av den graderade uppdragsalgoritmen (Fang, Liu, och Chai 2012). De grafbaserade tillvägagångssätten har flera fördelar, vilket kommer att illustreras. Diagrambaserade metoder kan effektivt fånga rika relationer mellan objekt och kompensera för perceptuella fel på enskilda objekt. Den matchande algoritmen tvingar inte igenom alla språkdeskriptorer (till exempel fångas i språknoder) helt matcha de lägre nivå upplevda funktionerna (till exempel fångas i synnoder). I stället returnerar semantiska jordningsfunktionerna ett verkligt tal som indikerar kompatibilitet mellan en symbolisk term och de upplevda visuella egenskaperna. Algoritmen bygger på alla noder/kanter i graferna för att hitta den bästa approximationen. Genom att förlita sig på dessa relationer kan den grafbaserade metoden kompensera för synfel och minska perceptuella skillnader mellan människor och agenser. Ett grafbaserat tillvägagångssätt med hjälp av girig strålsökning tillämpades på de chefsmatcher kommunikationsdata som samlats in från våra studier (beskrivs tidigare). Den har visat några lovande resultat. Till exempel, när de flesta av objekten (85 procent) inte kunde vara korrekt igenkänd (genom en enkel datorseende algoritm), den grafbaserade metoden framgångsrikt jordade till 66 procent av dessa felaktigt igenkända objekt, vilket leder till en över 27 procent prestandavinst jämfört med metoden utan modellering relationer (Prasov och Chai 2010). Detaljerade resultat och analys kan hittas i tidningen av Liu, Fang och Chai (2012). Regelbundna grafer kan endast modellera binära relationer mellan två enheter. Men de kan utvidgas till hypergrafer för att fånga högre ordning (nariska) relationer, speciellt för gruppbaserade uttryck som "en grupp av fyra objekt på övre högra sidan". Detaljer om användning av hypergrafer beskrivs av Liu et al. (2013)...................................................................... Inkorporera samverkande mönster för att minska sökrymden Grafbaserade metoder kan effektivt ta hänsyn till samarbetsmönster för att minska sökutrymmet för att hitta den bästa matchningen. Som visas i figur 2 samarbetar regissören och tändstickan med varandra för att sträva efter en gemensam grund för den gemensamma miljön. Det finns olika typer av samtalsdynamik samtalspartner engagerar sig i. Till exempel, i M2 i figur 2, tändstickan säger "inte en kopp, jag ser att det finns en kvadrat, det är blått." I detta fall avvisar tändstickan först regissörens presentation och presenterar sedan vad tändstickan uppfattar från miljön. Med tanke på denna presentation från matcher, direktören accepterar omedelbart att i D3 ("all right, Jag kommer att gå med det") och sedan sträcker sig därifrån till målet objekt ("rätt under det är en gul peppar"). Denna matcher-present-directoraccept strategi (även kallad robot-nuvarande-humanaccept strategi) har förekommit ofta i våra insamlade data. Det kan direkt införlivas i det grafbaserade tillvägagångssättet för att förbättra grundläggningen av referensuttryck ). Till exempel, som visas i figur 3, när roboten introducerar "en blå fyrkant" i diskursen, läggs en nod som representerar "en blå fyrkant" till språkgrafen. En trevlig sak är att när roboten introducerar denna nod vet den exakt vilket objekt i sin egen representation uttrycket "en blå fyrkant" är jordat till. Som visas i figur 3 finns det alltså en "måste-länk" mellan språknoden och visionsnoden. Dessa "must-links" ger ytterligare begränsningar som leder till ett mindre och mer lovande subutrymme för att söka efter lösningar. Våra empiriska resultat har visat att genom att integrera det samverkande mönstret av robot-nuvarande-human-accept strategi med hypergrafer avsevärt förbättrar prestandan av jordning språket till målobjekten med en absolut vinst på mer än 18 procent. Mer information finns i Liu et al. (2013)...................................................................... Flera matchande hypoteser Effektiva grafmatchningsalgoritmer finns tillgängliga för att ge snabba lösningar med flera hypoteser för uppföljningsdialog. Till exempel i tidningen av Liu, et al. (2014), en matchande algoritm baserad på probabilistisk märkning presenteras. Detta tillvägagångssätt integrerar olika typer av bevis från den samverkande diskursen i en Bayesian resonemang ram för att marken hänvisning uttryck. I denna algoritm betraktas noder i synkurvan som etiketter. Med märkning avses att tilldela en etikett (från visionsgrafen) till en nod i språkgrafen. Algoritmen finner en lista över etiketter till varje nod i språkgrafen på ett iterativt sätt. Den initierar först märkningen sannolikheter genom att endast överväga de unary attribut, som kan modellera alla förkunskaper om hur en nod kan vara relaterad till en etikett. Den uppdaterar sedan märkningen sannolikheten för varje nod baserat på märkningen av sina grannar och relationerna med dem. Samreferensrelationerna mellan språkenheter i språkgrafen modelleras också under uppdateringen. Ett trevligt inslag i detta tillvägagångssätt är att när märkningen sannolikheter konvergerar, systemet kan få flera hypoteser (dvs. en rankad lista över etiketter för varje nod i språkkurvan), som naturligt kan införlivas i dialog (t.ex. för förtydligande). De empiriska resultaten har visat att den probabilistiska märkningsmetoden avsevärt överträffar tillstånds-rymdssökningen i både jordningsnoggrannhet och effektivitet ). Incremental Learning algoritmer för att stödja anpassning till Perceptual Capability Graph-baserade metoder gör det möjligt för robotar att stegvis lära sig och bedöma sin egen uppfattningsförmåga och att använda mer tillförlitliga perceptuella kanaler för bättre jordning. Som beskrivits tidigare, är en nyckelkomponent i grafmatchning semantiska jordning funktioner, som i huvudsak matchar en språklig deskriptor (till exempel ordet "röd") till de underliggande visuella funktioner (till exempel färg histogram distribution). Vid grundläggning av ett uttryck (till exempel "den röda koppen till vänster") till miljön behöver roboten ofta kombinera de semantiska jordningsfunktionerna för varje attribut tillsammans med en viktad summa. Den vikt som tilldelas varje semantisk jordningsfunktion återspeglar hur tillförlitlig roboten anser att den tillhörande semantiska jordningsfunktionen är. Vissa semantiska jordningsfunktioner kan vara mer tillförlitliga än andra och bör därför tilldelas högre vikter. Detta är särskilt viktigt eftersom människor och robotar kan ha olika synvinklar. Robotens uppfattning om "röd" kan till exempel skilja sig mycket från människans uppfattning om rött. Därför är en viktig fråga om roboten kan lära sig hur tillförlitliga dessa semantiska jordning funktioner är och, ännu viktigare, om roboten kan uppdatera semantiska jordning funktioner när den inser att de inte är tillförlitliga. För att ta itu med dessa frågor har vi utvecklat en optimeringsmetod baserad på linjär programmering för att automatiskt lära sig vikterna under människa-robot dialog (Liu och Chai 2015). Tanken är att roboten genom att interagera med sin mänskliga partner (t.ex. genom dialog och feedback från människan) kan bedöma vilken eller vilka dimensioner av sin egen uppfattning (t.ex. objektigenkänning eller färgfördelning) som är mer i linje med människans uppfattning och därmed de motsvarande semantiska jordningsfunktionerna är mer tillförlitliga. Till exempel, när roboten inte kan känna igen objekt i miljön mycket bra, efter några rundor av interaktioner med människor, roboten kommer att inse att den semantiska jordning funktion i samband med objekttyp är inte tillförlitlig och därmed minska den tillhörande vikten. Den kommer då att förlita sig på andra perceptuella egenskaper (och deras tillhörande semantiska grundfunktioner) för att matcha de språkliga uttrycken med dess uppfattning. Korrekt grundläggning till perception kommer att bli ett annat övningsexempel för att uppdatera den semantiska grundläggningsfunktionen själv. Den detaljerade metoden och utvärderingarna tillhandahålls av Liu och Chai (2015). I det sista avsnittet tas tolkningsproblemet upp, nämligen med tanke på språkbeskrivningar från mänskliga partners, hur de ska jordas till upplevda objekt trots att roboten bara har en ofullständig uppfattning om den gemensamma miljön. För att möjliggöra kommunikation mellan människa och robot är ett lika viktigt problem hur roboten effektivt kan generera en språkbeskrivning för att göra det möjligt för sin mänskliga partner att förstå vilket objekt som avses. Det har varit en enorm mängd arbete med hänvisning uttryck generation (REG) under de senaste två decennierna (Dale 1995; Krahmer och Deemter 2012). Det typiska målet är att generera en enda minsta språkbeskrivning som gör det möjligt för lyssnaren att skilja målobjektet från distraktorerna. Med undantag för några (Mitchell, Van Deemter och Reiter 2013) har de flesta tidigare verk tillämpat antagandet att agenter och människor har tillgång till samma domäninformation och agenten har en fullständig representation av den delade världen. Detta antagande har emellertid inte längre någon plats för dialog mellan människor och robotar, eftersom människor och robotar har missuppfattat representationer av den gemensamma miljön. Dessutom är den perfekta kunskapen om miljön inte tillgänglig för roboten i förväg. Agenten måste göra en slutledning av den delade miljön och koppla samman visuella funktioner på lägre nivå med ord. Denna process är full av osäkerheter och även fel benägna. Perceptuella skillnader i dialogen om mänskliga robotar utgör nya utmaningar för REG. Återupplivande av REG För att förstå denna nya utmaning har vi sett över problemet med REG i samband med missmatchad perceptuell grund ). Vi förlängde en välkänd grafbaserad metod (Krahmer, Van Erk och Verleg 2003) som har visat sig effektiv i tidigare arbeten och genom att integrera osäkerheter i kostnadsfunktionerna. Vi utökade också regelbunden grafrepresentation till hypergrafrepresentation för att ta hänsyn till gruppbaserade rumsliga relationer som är viktiga för visuella beskrivningar. Våra empiriska resultat har visat att om agenten har en perfekt perception och har en fullständig representation av den delade miljön (inställningen de flesta tidigare verk baserades på), vår hypergrafbaserade metod uppnådde högre prestanda (84,2 procent noggrannhet) jämfört med den ursprungliga metoden baserad på regelbundna grafer (80,4 procent). Men när agenten inte har en perfekt uppfattning om den delade miljön (vilket ofta är fallet i människa-robot dialog), prestandan av vår hypergraf har sjunkit avsevärt till 45 procent. Detta prestandagap visar att det nuvarande tillvägagångssättet för att generera minimibeskrivningar kanske inte är tillämpligt för en dialog mellan människa och robot. Kommittén efterlyser nya lösningar för REG som kan förmedla missmatchade perceptuella grunder. Dessa resultat har motiverat vårt arbete med samarbetsmodeller för REG. Samarbetande modeller för REG Tidigare arbete med samarbetsprocessen för referenskommunikation (Clark och Wilkes-Gibbs 1986) säger att partner, för att minimera samarbetsinsatser, tenderar att gå längre än att utfärda ett elementärt hänvisningsuttryck, utan snarare använda andra olika typer av uttryck såsom episodiska, avbetalning, självexpansion och andra. Motiverade av dessa fynd samt observationer från vår egen studie om mänsklig kommunikation som beskrivits tidigare, har vi utvecklat samarbetsmodeller för REG särskilt för att fånga följande två typer av samverkande beteenden. Episodisk modell genererar hänvisningar uttryck på ett "episodiskt" sätt genom att generera en sekvens av mindre substantiv fraser, som leder till målet objekt, till exempel, som i "under orange, bredvid äpplet, det är den röda glödlampan." Installeringsmodellen genererar referensuttryck på ett "installations" sätt genom att generera en liten substantivfras, vänta på lyssnarens svar, och sedan generera en annan liten substantivfas baserat på feedback. Denna process itererar tills målobjektet uppnås. Till exempel: Talare: under pepparn Lyssnare: ja. Talare: det finns en grupp av tre objekt. Lyssnare: OK. Talare: det finns ett gult objekt till höger inom gruppen. För att agenter ska kunna generera dessa episoder på ett avbetalnings sätt, behandlade vi REG som ett sekventiellt beslutsfattande problem och formulerade det under förstärkning lärram (Fang, Doering, och Chai 2014). Tanken är att agenten från sin tidigare erfarenhet av referenskommunikation med en människa ska kunna lära sig en bra generationspolicy för varje givet kommunikationstillstånd. Med hjälp av termer från förstärkt inlärning, en politik π : S → A är en kartläggning från stater (S) till åtgärder (En åtgärd a  på A. Målet är att lära sig en optimal policy π * = arg max a Q(s, a) som maximerar Q(s, a). Inom ramen för REG kan ett tillstånd karakteriseras av många faktorer såsom osäkerheten i den upplevda miljön, målobjektet, det nuvarande landmärkesobjektet, som har bekräftats av människan, och den mänskliga återkopplingen. En åtgärd beskriver en generationsstrategi som vilket objekt som ska beskrivas för en episod och vilken deskriptor som ska användas (t.ex. om attribut eller rumsliga relationer till markerade objekt ska beskrivas). Eftersom utrymmet för S och A kan vara stort, är det inte möjligt att räkna upp alla möjliga par. Således används funktion approximation för att approximera värdefunktionen genom linjär regression, det vill säga en linjär kombination av viktade egenskaper. Med hjälp av en simulerad miljö utförde vi experiment där agenten interagerade med användare från Amazon Mechanic Turk. SARSA-algoritmen (Sutton och Barto 1998) tillämpades för att lära sig vikterna i samband med funktionerna för Q (s, a). Den inlärda värdefunktionen kan användas för att identifiera den bästa generationen åtgärder för alla tillstånd under kommunikation. Våra experimentella resultat har visat att samarbetsmodellerna, jämfört med det ledande icke-kollektiva tillvägagångssättet (baserat på hypergrafer), avsevärt förbättrar prestandan. I synnerhet har avbetalningsmodellen (68,9 procent noggrannhet) lett till en absolut vinst på 21 procent jämfört med den icke-samarbetande metoden (47,2 procent noggrannhet). Dessa resultat har visat att samarbetsmodeller är mer effektiva när det gäller att minska perceptuella skillnader mellan människor och robotar i referenskommunikation. Mer detaljer om tillvägagångssättet och empiriska resultat beskrivs av Fang, Doering och Chai (2014). Tidigare avsnitt ger en kort översikt över samarbetsmodeller för grundad språktolkning och språkgenerering med målet att förmedla perceptuella avvikelser. Detta avsnitt beskriver två empiriska studier som utökar dessa modeller i människa-robot kommunikation med ett särskilt fokus på robotens samverkande beteenden. Det grafbaserade tillvägagångssättet för grundläggning av språk till miljö är integrerat i ett kommunikationssystem mellan människa och robot. Det första experimentet undersöker rollen av samverkan från roboten för att underlätta språktolkning för att etablera en gemensam grund för delad miljö. En demo av systemet som används i experimentet kan ses på YouTube. 1 A 2x2 faktoriell design användes i försöket. Det fanns två faktorer: perceptuell skillnad och samarbetsinsats. Varje faktor har två nivåer. En hög perceptuell skillnad innebär att människan och roboten har en stor missmatchning i sina uppfattningar. I det här fallet manipulerade vi robotseendet så att 60 procent eller 90 procent av objekten i den delade miljön inte kunde identifieras korrekt. En låg perceptuell skillnad avser den situation där endast 10 procent eller 30 procent av objekten inte kunde kännas igen korrekt av roboten. En låg samarbetsinsats avser robotens minsta ansträngning att acceptera eller avvisa en presentation från människan genom uttrycklig bekräftelse. En hög samarbetssatsning modellerar tändstickans beteende i mänsklig kommunikation. I denna miljö gör roboten en extra insats för att proaktivt beskriva vad den upplever från den gemensamma miljön utöver en uttrycklig bekräftelse. Figur 4 visar några exempel på dessa två olika inställningar. I experimenten instruerades människor att lära ut robotnamnen på olika objekt i den gemensamma miljön genom dialog i naturligt språk. I slutet av dialogen mättes två mätvärden: (1) uppfattad grundläggning, som räknar procent av dialoger där de mänskliga partnerna trodde att roboten hade lyckats få alla namnen; och (2) sann grundläggning, som räknar antalet korrekta namn som faktiskt förvärvas av roboten genom dialogen. Våra empiriska resultat har visat att en låg samarbetsinsats leder till en högre upplevd grundprestation, vilket innebär att den kan lura sina mänskliga partner att tro att en gemensam grund är etablerad. Men sådana trosuppfattningar återspeglar inte sann gemensam grund och är till och med mer skadliga än misslyckanden när det gäller att nå fram till en gemensam grund. Våra resultat visar vidare att under en låg perceptuell skillnad, olika nivåer av samarbetsinsatser inte gör någon skillnad i verklig jordning; men under en hög perceptuell skillnad, en hög samarbetsinsats leder till betydligt högre prestanda i sann jordning. Dessa resultat tyder på att roboten, för att medla perceptuella skillnader och etablera en gemensam grund för den gemensamma miljön, bör göra en extra ansträngning för att kommunicera med sin partner och göra honom eller henne medveten om sin interna representation av den gemensamma världen. Detaljerade resultat av detta försök beskrivs av Chai et al. (2014)................................................................ Som beskrivits tidigare har samarbetsmodeller för REG visat lovande resultat i språkbaserad kommunikation i en simulerad miljö med missmatchad perceptuell grund. I människa-robot kommunikation, en unik egenskap av fysisk interaktion i världen är förkroppsligande: robotar och människor båda har fysiska kroppar och de kan använda icke-verbala metoder (till exempel gest och ögon blick) för att hänvisa till den gemensamma världen och för att ge omedelbar feedback (Chen et al. 2015, Kennington m.fl. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. En av våra ansträngningar var således att integrera avbetalningsmodellen med förkroppsligande för att underlätta människorobotars referenskommunikation. Vi var särskilt intresserade av två variabler som representerar förkroppsligande -robot pekar gest och mänskliga ögon blick återkoppling. Deictic gester spelar en viktig roll i humanrobot referenskommunikation (Sauppe och Mutlu 2014). I vårt arbete modellerar vi direkt den pekande gesten som en ytterligare åtgärd i värdefunktionen (beskrivs tidigare). Kostnaden för pekande gester ingår som en funktion i den linjära regressionsmodellen, som beräknas baserat på avståndet från roboten till målobjektet, storleken på målobjektet, adjacens av andra objekt till målobjektet, och så vidare. Psykolingvistiska studier har visat att människans blick är direkt kopplad till språkförståelse (Tanenhaus et al. 1995)............................................................................................................ Omedelbart efter att ha hört ett hänsyftande uttryck rör sig lyssnarens ögon till de föremål som omtalas. Motiverade av dessa fynd införlivade vi människans realtids blick som mellanliggande återkoppling i avbetalningsmodellen. Vi använde en ASL ögonspårare för att mäta om det fixerade objektet sammanföll med agentens avsedda objekt. Om ja, betraktades den mänskliga återkopplingen som positiv; i annat fall ansågs den vara negativ. Baserat på dessa två faktorer genomförde vi ett experiment för att undersöka förkroppsligat samarbete i referenskommunikation (Fang, Doering, Chai 2015). I figur 5 visar den vänstra bilden den experimentella inställningen där människan bär en ASL mobil ögonspårare och den högra bilden visar ett exempel på en blickfixering fångad av ASL-spåraren under kommunikationen. Eftersom vi var särskilt intresserade av den situation där människor och robotar har missmatchat perceptuell grund, tillämpade vi avsiktligt en mycket enkel CV-algoritm för att generera en hög feligenkänningsgrad (73 procent). Våra empiriska resultat har visat att modeller som införlivar roboten pekar gest konsekvent överträffade modeller som inte införlivar pekande gest. Inkorporering av människans ögon blick som mellanliggande återkoppling inte presterade bra. Mänsklig verbal feedback utfördes bättre än blicken återkoppling av sig själv eller tillsammans. Våra resultat visar att människans blick kan vara mycket bullrig, särskilt när det gäller lokal interaktion. Det är mycket svårt att på ett tillförlitligt sätt fånga ögonfixeringar och därmed återspegla motsvarande feedback. Det behövs mer ingående undersökningar av feedback från människors blickar i framtiden.
Vissa har studerat arten av haverier i människa-robot kommunikation (t.ex., Marge och Rudnicky (2015) ), medan andra har genomfört realtid jordning ramar REF.
Collaborative Language Grounding Toward Situated Human-Robot Dialogue
{'venue': 'AI Magazine', 'journal': 'AI Magazine', 'mag_field_of_study': ['Computer Science']}