Figur 1: Avatarkontroll i realtid i vårt system. (Top) Användaren styr avatarens rörelse med hjälp av skisserade stigar i labyrint och tuffa terrängmiljöer. (Bottom vänster) Användaren väljer från ett antal val i en lekplats miljö. (Bottom höger) Användaren styr avataren genom att utföra en rörelse framför en kamera. Endast i detta fall fördröjer avatarens rörelse användarens inmatning med flera sekunder. Populariteten hos tredimensionella dataspel med mänskliga karaktärer har visat att realtidskontroll av avatarer är ett viktigt problem. Två svårigheter uppstår i animering och kontrollera avatarer, dock: utforma en rik uppsättning beteenden för avataren, och ge användaren kontroll över dessa beteenden. Att utforma en uppsättning beteenden för en avatar är svårt främst på grund av realtidsbegränsningen, särskilt om vi vill använda relativt ostrukturerade rörelsedata för beteendegenerering. Råvaran för smidig, tilltalande och realistisk avatar rörelse kan tillhandahållas genom en stor rörelse databas, och detta tillvägagångssätt används ofta i videospel idag. Att förbereda en sådan databas kräver dock omfattande manuell bearbetning och noggrann design så att karaktärens beteende motsvarar användarens förväntningar. Sådana databaser tenderar för närvarande att bestå av många korta, noggrant planerade, märkta rörelseklipp. Ett mer flexibelt och mer allmänt användbart tillvägagångssätt skulle göra det möjligt att utnyttja utvidgade, omärkta sekvenser av uppgifter om rörelsefångning för avatarkontroll. Om sådana ostrukturerade data används blir det dock en stor utmaning att söka efter en lämplig rörelse på nätet. Att ge användaren ett intuitivt gränssnitt för att styra avatarens rörelse är svårt eftersom karaktärens rörelse är högdimensionell och de flesta tillgängliga inmatningsenheter inte är det. Inmatning från enheter som möss och joysticks indikerar vanligtvis en position (gå till denna plats), hastighet (resa i denna riktning med denna hastighet) eller beteende (forma denna kick eller plocka upp detta objekt). Denna inmatning måste sedan kompletteras med autonoma beteenden och övergångar för att beräkna den fulla rörelsen avatar. Kontroll av individuella frihetsnivåer är inte möjlig för interaktiva miljöer om inte användaren kan använda sin egen kropp för att agera ut eller pantomime rörelsen. I denna forskning, visar vi att en rik, ansluten uppsättning avatar beteenden kan skapas från utökad, friform sekvenser av rörelse, automatiskt organiseras för effektiv sökning, och utnyttjas för realtid avatar kontroll med hjälp av en mängd olika gränssnitt tekniker. Rörelsen är förbehandlad för att lägga till variation och flexibilitet genom att skapa anslutningsövergångar där bra matchningar i poser, hastigheter och kontakttillstånd för tecknet finns. Rörelsen samlas sedan i grupper för effektiv sökning och presentation i gränssnitten. En unik aspekt av vår strategi är att de ursprungliga rörelsedata och generaliseringen av dessa data är nära kopplade; varje ram av den ursprungliga rörelsedata är associerad med ett träd av kluster som fångar den uppsättning åtgärder som kan utföras av avataren från den specifika ramen. Den resulterande klusterskogen gör att vi kan dra nytta av kraften i kluster för att generalisera rörelsedata utan att förlora den faktiska anslutning och detalj som kan härledas från den data. Denna tvålagers datastruktur kan effektivt sökas på körtid för att hitta lämpliga vägar till beteenden och platser som anges av användaren. Vi utforskar tre olika gränssnitt för att ge användaren intuitiv kontroll över avatarens rörelse: val, skiss och prestanda (figur 1). I valet gränssnitt väljer användaren bland ett antal alternativ (riktningar, platser, eller beteenden) med några sekunder. De alternativ som presenteras för användaren väljs bland de kluster som skapats under förbehandlingen av rörelsedata. I skissningsgränssnittet anger användaren en väg genom miljön genom att skissa på terrängen, och datastrukturen söks för att hitta rörelsesekvenser som följer den vägen. I prestandagränssnitt agerar användaren ut ett beteende framför en videokamera. Den bästa passformen för hans eller hennes rörelse används sedan för avataren, kanske med en mellanliggande segment av rörelse för att ge en smidig övergång. För alla tre gränssnittstekniker gör vår rörelsedatastruktur det möjligt att omvandla eventuellt lågdimensionella användaringångar till realistiska rörelser i avataren. Vi demonstrerar kraften i detta tillvägagångssätt genom exempel i fyra miljöer (figur 1) och genom jämförelse med direkt inspelad mänsklig rörelse i liknande miljöer. Vi noterar att det visionsbaserade gränssnittet, på grund av den högre dimensionen av inmatningen, ger mest kontroll över detaljerna i avatarens rörelse, men att valet och skissgränssnitt ger användaren med enkla tekniker för att styra avataren för att uppnå specifika mål.
Lee och Al. REF använde en tvåskiktad statistisk modell för att representera en databas, där det högre (koarse) skiktet används för att interagera med användarens ingångar och det lägre (detalj) skiktet används för att syntetisera helkroppsrörelser.