Användaren flyttar återigen objektet in i agentens väg, och återigen klarar systemet framgångsrikt (B). Sammantaget försöker användaren blockera agenten genom att flytta lådan 3 gånger, men agenten fortfarande undviker den och anländer till målpositionen sömlöst. Allteftersom virtuella världar blir rikare och mer komplexa, ställs de agenter som befolkar dem inför allt mer komplicerade kontrollbeslut. De måste interagera med miljön på ett naturligt sätt och uppnå ofta komplexa mål. Denna skiss beskriver ett ramverk för kontroll av autonoma agenter online i realtid. I många aktuella datorspel ges varje agent en väg att följa av en global vägplanerare. Vägen planerare beräknar en optimal (eller nära optimal) väg genom miljön, med tanke på hinder och agentens mål. Agenten följer denna plan exakt, spelar tillbaka förinspelade rörelsesekvenser. Till exempel kan han spela tillbaka en rörelse fångad gång cykel översatt lämpligt för att följa färdplanen. Tyvärr, tvingar agenten att följa en väg exakt resulterar i obekväm, diskontinuerlig rörelse, eftersom stigplaneraren inte kan säkerställa smidighet i agentens rörelse. Med tanke på smidigheten gör beräkningen av färdplanen intractable. När längden på den rörelsesekvens som behövs för att uppfylla banan planen ökar, det finns en kombinatorisk explosion i antalet möjliga sekvenser som man kan skapa från en samling av rörelseramar. Vår lösning är att förse agenten med en lokal rörelseplanerare. Den lokala rörelseplaneraren ges position och hastighet för närliggande objekt och ett vägsegment från den globala vägplaneraren. Vid varje bildintervall måste den välja nästa rörelseram att visa. Ibland gör överväganden om rörelsekontinuitet valet unikt; vid andra tillfällen finns det flera ramar att välja mellan. Den lokala planeraren måste välja en ram med avsikt att producera en mjuk rörelse som är en sekund lång, ligger nära den efterfrågade vägen segment, och inte stöter på några objekt, även om vissa objekt kan röra sig på sätt som är svåra att förutsäga. Det finns tre stora fördelar med att låta den lokala planeraren avvika något från den globala planen. Den första är att vårt system kan hantera dynamiskt föränderliga miljöer, där agenten inte har någon kunskap om var objekt kommer att vara i framtiden. Det är dyrt att uppdatera en global plan, eftersom uppdateringen tar hänsyn till alla objekt i miljön. I kontrast behöver den lokala planeraren bara överväga objekten omedelbart * e-post: lesliei, okan, daf@eecs.berkeley.edu omger agenten, eftersom dessa objekt är (sannolikt) de enda som kan påverka agentens nästa sekund av rörelse. Den andra fördelen är att vi kan använda en grov global plan som består av waypoints ihop linjärt. Linjära vägplaner är oftast snabbare och enklare att beräkna än släta. Den tredje och viktigaste fördelen är att rörelsesekvensen våra systemutgångar är smidiga, eftersom den lokala rörelseplaneraren vet vilka ramar som kontinuerligt ansluter sig till den aktuella ramen. Den lokala planeraren tvingas inte använda ramar som går dåligt ihop. Agentens ramar är hämtade från ett rörelsediagram ([Kovar et al. 2002]), som kodar för smidiga övergångar mellan rörelseklipp. Ur ett genomförandeperspektiv är den lokala rörelseplanerarens funktion att välja vilka övergångar i rörelsegrafen som ska följa. Varje gång den lokala rörelseplaneraren når en ram i rörelsegrafen med flera övergångar, väljer den vilken övergång som leder agenten att bäst följa den globala planen och uppnå målen. I vårt system är agentens mål att nå sin målposition samtidigt som han undviker mobila föremål och fiender. Ett av problemen med att använda en lokal rörelseplanerare är att den lider av det korthorisontella problem som är en naturlig del av den lokala sökningen. Den lokala planeraren kan inte redogöra för de långsiktiga konsekvenserna av att välja vissa övergångar i rörelsediagrammet. Till exempel, en viss övergång kan leda agenten att följa den globala planen väl, men varje övergång senare tillgänglig från det kan leda honom att följa planen dåligt. Vi använder förstärkt inlärningsteknik för att uppskatta de långsiktiga effekterna av beslut. Vi pre-kompilerar den förväntade godheten av övergångar i rörelsekurvan, och använder dessa uppskattningar för att justera den lokala rörelseplaneraren. Vi visar att det är möjligt att lära sig en enkel men effektiv lokal rörelseplanerare för ett rörelsediagram. Som medföljande video visar, har vi skapat en realtid, online-system som kan anpassa sig till en snabbt föränderlig miljö och driva agenten att uppnå sina mål.
REF använder sig av förstärkt inlärning på ett mer komplext statsutrymme för att hjälpa en global planerare.