Tre nivåer av virtuell miljö (VE) metrisk föreslås, baserat på: (1) användares uppgift prestanda (tid, resor och antal fel som gjorts), (2) fysiskt beteende (locomotion, ser runt, och tid och fel klassificering), och (3) beslutsfattande (dvs. kognitiv) logik (tänk högt, intervju, och frågeformulär). Exempel på användning av dessa mått hämtas från en detaljerad genomgång av forskning om VE-sökvägar. En fallstudie från forskning om den trohet som krävs för effektiv VE-sökväg presenteras, visar opassande i vissa omständigheter av gemensamma mått av uppgiftsprestanda såsom tid och avstånd, och de fördelar som kan uppnås genom att göra finkorniga analyser av användarnas beteende. Papperet som helhet belyser de olika tekniker som framgångsrikt har använts för att utvärdera hur man hittar metoder och förklarar i detalj hur vissa av dessa tekniker kan tillämpas. Navigation är en av de vanligaste typerna av verksamhet som människor utför i virtuella miljöer (VEs), och är en bred term som omfattar många olika typer av uppgifter, från vägsökning (handling att resa mellan platser), till att planera rutter och ge riktningar. Forskning om navigering har undersökt alla dessa, förutom komponent-nivå uppgifter som är involverade i processen för navigering såsom vägintegration, distansuppfattning, uppskattningar av riktning och orientering specificitet (t.ex., Chance, Gaunet, Beall, & Loomis, 1998; Richardson, Montello, & Hegarty, 1999; Riecke, van Veen, & Bülthoff, 2002; Waller, 2000; Wilson, Foreman, & Tlauka, 1997). Den här artikeln inriktar sig på att hitta vägar. Studier har undersökt effekten av att hitta olika aspekter av VE-systemdesign, till exempel innehållet i den visuella scenen, rörelsegränssnitt, synfält (FOV) och vägsökningshjälpmedel, men det finns stora begränsningar med de metoder som används för utvärdering. I synnerhet allmänt använda mätvärden: a) är ibland otillräckligt finkorniga för att upptäcka de skillnader som finns mellan olika konfigurationer av system (t.ex., Lektioner & Ledighet, 2004), b) tenderar att behandla extrema beteenden som en störande faktor, även om det är dessa ytterligheter som ibland identifiera större problem i användbarhet, och c) är dåliga på att ge en konkret förklaring till eventuella skillnader i wayfinding prestanda som observeras. *Korrespondens till royr@comp.leeds.ac.uk För att hjälpa till att övervinna dessa begränsningar, och i likhet med ramar för utvärdering av människa-datorinteraktion (Sweeney, Maguire, & Shackel, 1993), föreslår vi användningen av tre olika nivåer av mätvärden för att utvärdera hur man hittar. På bottennivå är direkta åtgärder för att utföra uppgiften. På en sekundär nivå är mätvärden som mäter användarnas fysiska beteende medan de navigerar, och på den tredje nivån är mätvärden som ger en förklaring till detta beteende genom att försöka fastställa användarnas underliggande kognitiva logik (eller brist på detta!). Resten av denna artikel är uppdelad i två större avsnitt. Den första granskar mätvärden i var och en av de tre nivåer som har använts för att utvärdera hur man hittar i en mängd olika användarstudier, och identifierar vissa brister. Den andra stora delen visar sedan hur en del av dessa mått har tillämpats för att hjälpa till att utvärdera hur man hittar i en svit av författarnas egna studier. Det övergripande målet med artikeln är att göra en betydande förbättring av de tekniker som används för att utvärdera vägsökning, och att kommunicera dessa tekniker till en bredare publik. Under en längre tid bör detta bidra till forskningen om hur man söker och främja närmare jämförelser mellan de studier som utförs av olika forskare än vad som tidigare varit möjligt. Det övergripande syftet med en uppsättning mätvärden är att assimilera rådata som samlats in under en utvärdering, och att tillåta att nyckeldragen i dessa data presenteras i en koncis form som gör det möjligt att lätt förstå betydelsen av uppgifterna. Metrics bör tillhandahålla giltiga data som stöder de slutsatser som dras i en skriftlig rapport eller presentation, och vara tillräckligt tillförlitliga för att data ska kunna återskapas i framtida utvärderingar. När vi går från en nivå av metriska till nästa är de data som presenteras av finare granularitet, vilket ger förklaringar till skillnader som syns i nivåerna ovan. På bottennivå (nivå 1) är mätvärden som mäter hur väl en användare utför en uppgift, vilket för vägsökning innebär att användaren hittar en viss plats. Fysiska beteendemått (nivå 2) ger information om vad en användare gjorde under en given uppgift, inte bara hur lång tid de tog eller hur exakt de utförde. Rationale metrics (nivå 3) fungerar på den högsta av de tre nivåerna, och kan ge en förklaring till varför användare uppvisar givna beteenden. Även om, i slutet av dagen, är det användarnas prestanda i wayfinding som räknas (Durlach et al., 2000), denna prestanda drivs av användarnas beslutsprocesser och efterföljande beteende. Det är användarnas logik som dikterar deras fysiska beteende och subtila förändringar i beteende kan ha en betydande effekt på prestanda, som är välkänt inom det allmänna området människa-datorinteraktion (t.ex., Gray & Boehm-Davis, 2000; Gray & Fu, 2001). Rationale och beteendemått underlättar detaljerad utvärdering av vägsökning och kan ofta identifiera viktiga förändringar i användbarhet som orsakas av olika konstruktioner av VE-system, även om dessa skillnader ännu inte har blivit uppenbara på nivån för uppgiftsprestanda. I själva verket kan logik och beteendemått användas på detta sätt för att identifiera de optimala komponenterna i var och en av flera olika konstruktioner, vilket leder till en förbättrad design som totalt sett är överlägsen. En annan situation där kognitiva mått framgångsrikt har använts i VEs är att jämföra trohet med verkligheten (Mania, Troscianko, Hawkes, & Chalmers, 2003). I nästa avsnitt granskas mätvärdena i de tre nivåerna. Närmare uppgifter om de mätvärden som använts i var och en av de publicerade studierna som ingick i granskningen finns i bilaga A. Den vanligaste metoden för att utvärdera vägsökning är att direkt mäta uppgiftsprestanda. Den viktigaste egenskapen hos ett visst aktivitetsmått är att det rapporterar ett enda mått som ger en översikt över användarnas prestanda under en uppgift, och detta kan användas som grund för den statistiska analysen av effekten av olika faktorer i en VE:s design (t.ex. gränssnitt eller scentrohet), eller för att jämföra användarnas prestanda med en tidigare fastställd norm. De flesta utvärderingar av VE way finding använder minst ett direkt mått på uppgiftens prestanda, och det vanligaste är den tid det tar att slutföra uppgiften, resan eller antalet fel som gjorts (se figur 1 senare i 638 PRESENCE: VOLYM 15, ANTAL 6 detta papper). Tid och avstånd är väl lämpade för situationer där användare kan navigera fritt, medan räkna fel eller antalet korrekta varv som görs används för att mäta noggrannheten hos användarens vägsökning när de inte tillåts avvika från en given väg. Det krävs försiktighet för att se till att de valda prestationsmåtten är anpassade till den utvärdering som görs, och i dessa tre särskilda frågor bör belysas. För det första, överväga två användare som utför en vägsökning uppgift som innebär att söka efter en uppsättning platser. En av användarna spenderar en avsevärd mängd tid planering var att resa och försöka memorera var de har rest, medan den andra användaren söker på ett nästan godtyckligt sätt (ordet "random" är avsiktligt undvikas, eftersom att hitta rörelser i VEs är sällan slumpmässiga; användare reser oftast framåt mycket oftare än de svänger vänster eller höger; Ruddle, Howes, Payne, & Jones, 2000). När det gäller distansresor har den första användaren en bättre sätt att hitta prestanda, men när det gäller tiden är det den andra användaren som mycket väl kan ha presterat bättre. Detta problem uppstår inte bara i form av individuella skillnader, men orsakas också av gränssnitt som inför olika hastighetsbegränsningar för hastigheten på resor, som har visats för menyer i ett grafiskt användargränssnitt (O'Hara & Payne, 1998) och resa i VEs med en hyperlänk gränssnitt som tillät användare att hoppa mellan platser i stället för promenader (Ruddle et al., 2000). Den andra frågan gäller också en avvägning mellan de motoriska och kognitiva kostnaderna för vägsökning. När du söker efter en rumslig layout, kan användare välja att anta vissa strategier, såsom gång på gång resa tillbaka till en given, känd plats (Elvins, Nadeau, Schuk, & Kirsh, 2001; Ruddle et al., 2000; Ruddle & Péruch, 2004). Även om detta ökar avståndet, jämfört med att alltid resa någonstans nytt, gör backtracking det lättare att komma ihåg var man har sökt, och därmed minskar risken för att lämna vissa delar av miljön helt orörd. Prestandamått måste ibland ta hänsyn till åtgärder som avsiktligt utförts eftersom de, även om dessa åtgärder kan anses vara ineffektiva på motornivå, kan minska arbetsbelastningen vid vägsökning och därför faktiskt öka effektiviteten ur kognitiv synvinkel. En liknande kompromiss observerades i en datoriserad version av spelet Tetris (Kirsch & Maglio, 1994). Expertspelare roterade bitarna betydligt oftare än nödvändigt, och det förmodades att detta inträffade eftersom bitar som kom in på skärmen i vissa riktningar först roterades till en orientering som gjorde det lättare att mentalt lösa frågan om var en bit skulle placeras (epistemisk åtgärd) och sedan roteras och flyttas till den platsen (pragmatiska åtgärder). Den tredje frågan är särskilt vanlig i situationer där användarna bedöms utifrån sina prestationer när de reser till flera olika platser. Om total prestanda mäts (t.ex. total avstånd rest) då mycket dålig prestanda hitta en av dessa platser kan dölja den lätthet med vilken varje annan plats hittades. Ett exempel på en prestandamått som utvecklats för att övervinna denna fråga är den perfekta sökmått används i fallstudien (se avsnitt 3.2.1, Perfect Search Metric). Denna metriska mäter hur nära en användare var att utföra en vägsökning uppgift på ett perfekt sätt, så små misstag såsom smalt saknas ett mål inte resulterar i en stor straff (t.ex., resa en stor extra avstånd eftersom hela miljön måste sökas igen). Dessa mätvärden mäter vad användarna fysiskt gjorde, men används mycket mindre (22 av de 40 studierna i bilaga A) än mätvärden för uppgiftsprestanda, så det finns mindre enighet om de lämpligaste uppgifterna att samla in eller hur de ska presenteras. Det övergripande mönstret av användarnas rörelse omfattar en rik variation av beteende, inklusive den väg som följs, perioder av tid i rörelse eller i vila, huvudrörelser, och kroppsorientering (Winkel & Sasanoff, 1970). I det här dokumentet är fysiska beteendemått indelade i följande huvudkategorier: (i) fysiska handlingar (indelade i lokomotion, ser runt, och allmänna observationer), (ii) klassificering av den tid som används för att utföra olika typer av åtgärder, och (iii) klassificering av eventuella fel som gjorts (i motsats till prestandamåttet att helt enkelt räkna antalet Ruddle och Lessels 639 av fel som gjorts). Närmare uppgifter om dessa sammanfattas i tabell 1 och diskuteras i nästa avsnitt. Lokomotion. Den första aspekten av användarnas fysiska åtgärder som behöver åtgärdas är mått för att mäta var användare reser (locomotion) under sin vägsökning. Det mest utmanande problemet ligger i att utveckla mätvärden som antingen kan kombinera olika användares rörelser på ett meningsfullt sätt eller hitta mönster i de rörelser som görs av olika användare som vid första anblicken kan verka olika. En metod är att räkna antalet gånger varje del av en miljö besöks eller genomsöks. Om miljön är uppbyggd som ett vägnät eller en byggnad kan den approximeras som en graf (noder och länkar) och man kan räkna antalet trafikleder för varje länk eller besök till varje nod. En användares rörelse kan sedan uttryckas som antingen detta nummer (Elvins et al., 2001) eller den procentandel av miljön som besöktes mer än ett givet antal gånger (Ruddle & Péruch, 2004). Detta tillvägagångssätt används också för att analysera träffar på webbsidor (t.ex. Tauscher & Greenberg, 1997) och presenteras ofta som ett histogram. Om en miljö har en öppen struktur (t.ex. virtuella havslandskap, campus och rum) är det nödvändigt att dela upp den i zoner, istället för noder och länkar. När detta är gjort, antalet gånger en användares sökväg går in i varje zon (Darken & Sibert, 1996; Ruddle & Jones, 2001), eller varje zon faller inom en användares synfält, kan räknas. För båda typerna av miljöstruktur kan antalet besök läggas över på en planvy över miljön med hjälp av färg, gråskala eller linjetjocklek för att ange den relativa frekvensen av besök (Darken & Sibert, 1996; Elvins et al., 2001 ) och dessa tekniker kan utökas för att ge tidsberoende visualiseringar som tar hänsyn till hastigheten hos användarnas rörelser (Chittaro & Ieronutti, 2004). En andra metod är att bryta ner användarens rörelse i en sekvens av händelser (rörelser i en rak linje eller längs kurvor) interspringad av perioder när användarna pausar (Thiel, 1970). När detta har gjorts är det möjligt att karakterisera arten av användarens lokomotivrörelser i termer av den genomsnittliga eller profil av resor (eller tid som tas) mellan pauser, den frekvens med vilken rörelser görs i olika riktningar (t.ex. framåt jämfört med bakåt), antalet eller mönstret av ingångar till relevanta gränssnitt enheter (Gamberini, Cottone, Spagnolli, Varotto, & Mantovani, 2003; Sas, O'Hare, & Reilly, 2004; Strommen, 1994), frekvensen med vilka kollisioner görs med tyget av miljön (Gamberini et al., 2003; Waller, Hunt, & Knapp, 1998) eller använda biomekanik tekniker för att härleda rörelseprofiler (Whitton et al., 2005). I den fallstudie som diskuteras i detta dokument karakteriserades användarens rörelseförmåga av profilen på den sträcka som restes under varje period av diskret rörelse (se avsnitt 3.2.3 Rörelsefördelning, se även figur 5 senare i detta dokument). En tredje metod används av mätmetoder som ger information om vägsökningsvägar. Planvyer har använts till stor effekt för att visa den faktiska vägen som en typisk användare (Gamberini et al., 2003) eller illustrera den extrema svårighet vissa användare har vägsökning i VEs (Ruddle & Jones, 2001 ). De vägar som tas av olika användare kan kombineras på en sammansatt karta för att belysa likheter i de faktiska vägar, med separata kartor ibland skapas för användare i olika kategorier, till exempel, användare som först svänger vänster kontra höger på in i en miljö (Winkel & Sasanoff, 1970). Path information kan också fångas med hjälp av en omfattande notation för att beskriva användares fysiska åtgärder under vägsökning (Theil, 1970). Olika informationskanaler (tid, avstånd, hastighet, riktning och uppstigning) presenteras parallellt, och dessa kan uttryckas i termer av rörelse till, längs eller över distrikt, noder, stigar, kanter och landmärken, de fem grundläggande elementen i städer som föreslås av Lynch (1960). Författarna är dock inte medvetna om forskning som har antagit denna notation. Slutligen kan information om sökvägar uttryckas genom att identifiera de makro- eller mikroheuristiker som användarna har använt. Makroheuristik kännetecknar en användares rörelse genom en miljö som helhet. Heuristik som har identifierats i VEs inkluderar att flytta direkt till en plats kontra resa via någon annan (relevant vid återbesök av en plats), och följa kanten (perimeter) av stora miljöfunktioner, söka från centrum av en miljö utåt, eller följa en gräsklippare-typ mönster (tillämplig på återbesök platser eller göra en fullständig sökning av en miljö; Mörka & Sibert, 1996; Ruddle, Payne, & Jones, 1999a; Ruddle & Péruch, 2004). I alla dessa studier bedömdes heuristikerna subjektivt, i vissa fall av två människor som arbetade självständigt. Det rekommenderas dock att ett mer objektivt tillvägagångssätt används där heuristik beskrivs antingen i konkreta termer eller som en matematisk ekvation och testas för godhet som passar användarens faktiska vägar. Ett exempel på detta tillvägagångssätt visas i fallstudien, där sökningar klassificerades som omkrets-första eller gräsklippare (se avsnitt 3.2.2 Makro-Level Search Heuristic; se även Figur 4 senare i detta papper), och en annan kommer från forskning om de vägar som drogs av deltagare som ombads att lösa problemet med resande säljare för sex, 10, eller 18 punkter som visades på ett papper (Hirtle & Gärling, 1992). Fyra heuristik analyserades (glänsande granne; rak linje, där en uppsättning punkter kommer att tas i ordning längs linjen; zig-zag, eller gräsklippare; och kluster, där platser delas upp i kluster, som sedan är anslutna med hjälp av en av de andra heuristikerna). Mikroheuristik har i allmänhet bedömts inom ramen för en miljö graf (node och länk) struktur, där de vanligaste identifierade heuristikerna är backtracking och loopar (Elvins et al., 2001; Ruddle et al., 2000; Ruddle & Péruch, 2004; Ruddle, 2005). Den andra aspekten av användarnas fysiska åtgärder är hur användarna ser sig omkring medan de reser. Under många år har forskare undersökt effekten av att den rörelsefrihet som tillhandahålls av head-tracked snarare än stationära displayer har på prestanda i rumsliga uppgifter som att rikta strålbehandlingsstrålar, måldetektering, och upprätthålla ens orientering (t.ex. Bakker, Werkhoven, & Passenier, 1999; Chung, 1992; Pausch, Shackelford, & Profitt, 1993). Dessa studier belyser Ruddle och Lessels 641 fördelarna med head-tracking i termer av hastighet och noggrannhet, men få studier har faktiskt rapporterat beteendedata som relaterar till hur människor ser runt i VEs. Att se sig omkring under sökandet sker i tre primära referensramar: (i) synreferens, (ii) kroppsreferens och (iii) världsreferens. I en vy referensram, ser runt på de rörelser en användare gör för att ta hand om olika delar av en skärm eller aspekter av en scen som visas på en display vid en given tidpunkt. Användare måste ofta göra specifika indata (t.ex. en nyckelpress) för att se delar av en skärm såsom en karta (Darken & Banker, 1998) eller en guidebok (Elvins et al., 2001 ), så det är enkelt för VE programvara att spela in de tider för vilka varje del visades. Bestämma aspekter av en virtuell scen som en användare tar hand om, och hur länge, innebär eyetracking. Användningen av eyetracking för att undersöka navigering inom hypertext och webben håller på att bli vanligt förekommande och, för dataanalys och presentation, vägen för en användares ögonfixering kan överlagras på en vy av miljön, kommenteras med tidsstämplar och åtföljs av en utskrift av användarens fysiska åtgärder (t.ex., Card et al., 2001 ). Ett identiskt tillvägagångssätt skulle kunna tillämpas på VE. Om man ser sig omkring inom en kroppsreferensram gäller riktningen för en användares syn i en VE i förhållande till orienteringen i deras virtuella kropp, medan man ser sig omkring i en global referensram gäller förändringar i den globala riktningen för användarens syn. För en användare som "går" genom en VE, kroppen och världen referensramar är identiska för förändringar i riktning i tonhöjd och rulle. Ändringar av rubrik (yaw) är också identiska i de två referensramarna om rörelse görs med hjälp av den vanligaste implementerade promenadmetaforen, som är visningsriktning rörelse (även känd som lookdirected rörelse; Bowman, Koller, & Hodges, 1997). Ändringar av rubriken är dock olika i kropps- och världsreferensramar om användarens syn och kroppsriktningar frikopplas, även om de grundläggande metoder som används för att kvantifiera förändringarna förblir desamma. En av dessa metoder innebär att kommentera en klar bild av den väg som en användare tagit med antingen linjer eller kottar som visar hur vyrubriken ändrades under vägsökning (Zanbaka et al., 2004). Animering av vyrubriken är användbar för detaljerad analys av användarnas åtgärder och ögonblicksbilder kan användas för att illustrera beteendefenomen (se avsnitt 3.2.5 Titta runt; se även figur 8 senare i detta dokument). En andra metod bestämmer den tid för vilken varje del av en miljö visades, med beaktande av ocklusioner orsakade av väggar och föremål i en VE (Chittaro & Ieronutti, 2004). En tredje metod är att identifiera beteendemönster som kan sammanfattas verbalt, till exempel användare systematiskt tittar i alla riktningar vid korsningar (Strommen, 1994). En fjärde metod föds ur det faktum att det ofta är önskvärt att kunna kvantifiera de skillnader som uppstår mellan en konstruktion av VE-system och en annan, även om exempel på detta är sällsynta. Användbara data som kan rapporteras inkluderar medelhastigheten för riktningsändringar, som har visat att deltagarna ser sig omkring dubbelt så mycket när de navigerar med hjälp av en huvudmonterad display (HMD) än en stationär display (Ruddle, Payne, & Jones, 1999b), de totala vinkelanvändarna vänder sig om och antalet separata rörelser där detta uppnås (Sas, O'Hare, & Reilly, 2004), den kumulativa vinkeln för alla riktningsändringar som gjorts under en given uppgift, och profilen för dessa förändringar (se avsnitt 3.2.5, Titta runt; se också figur 7 senare i detta papper). Profilen och hastigheten av förändring av planen tittar vinklar har också använts för att bedöma orsakerna till olika nivåer av VE sjukdom i vägsökning och andra uppgifter (Ruddle, 2004). Lägg märke till det. De flesta studier av VE way finding har bara utvärderat vad användarna gjorde inom en VE, men ibland studier har formellt spelat in och relaterade användares aktiviteter på och utanför skärmen (Gamberini et al., 2003; Murray, Bowers, West, Pettifer, & Gibson, 2000). De tidigare anpassade befintliga notationsformerna för att kombinera information om varje användares fysiska verkliga handlingar, verbalt rapporterade kommentarer, rörelser i VE, och händelser utanför användarens kontroll som hände i VE (t.ex. en virtuell brandstart) till en enda transkription. Dessa transkriptioner analyserades sedan tillsammans med andra beteende- och prestandadata för att ge kvantitativ och kvalitativ information om de VE som utvärderades. Däremot, Murray et al. gjorde en qual-642 PRESENCE: Volume 15, ANTAL 6 itativ bedömning av likheter i sina observationer av olika användare och, med hjälp av rapporteringstekniker som används inom områden som konversationsanalys (Sacks, 1992), gav citat från användare som var exemplars av de observerade beteenden. Dessa mått klassificerar beteende i termer av mängden eller andelen av tid användare spenderar utför olika typer av åtgärder. För att hitta de primära kandidaterna för klassificering är: a) om en användare är locomoting (stationär kontra resande), och b) om en användare ändrar riktning i vilken användaren tittar inom en given referensram (statisk kontra ser runt). Vissa studier har bara diskriminerat mellan den tid användare tillbringade stationärt kontra resande (Bowman, Johnson, & Hodges, 2001; Ruddle & Jones, 2001 ) men andra inkluderar alla fyra kombinationer av locomoting och ändra riktning (Elvins et al., 2001; Gamberini et al., 2003). Den senare rekommenderas och genomförs enkelt om en användares position och siktriktning registreras i samma takt som VE: s bildhastighet och varje gång steg kodas med bitvis ORing. Mätvärdena för att se sig omkring som beskrevs i föregående avsnitt kan sedan beräknas för hela en vägsökningsuppgift, eller för perioder då rörelse antingen äger rum eller inte (se avsnitt 3.2.5 Titta runt; se även figur 7 senare i detta dokument). Ibland finare kornade klassificeringar av tid utförs för att skilja mellan mängden tid som tillbringas resa i varje riktning som tillåts av ett gränssnitt (t.ex. framåt kontra bakåt; Gamberini et al., 2003). Andra studier har antagit olika klassificeringar för särskilda ändamål med exempel på hur mycket tid som tillbringas med att titta på miljöer från olika höjder (Witmer, Sadawski, & Finkelstein, 2002), tittar ner på ens virtuella fötter för att se de hinder som man har kolliderat med (Ruddle & Jones, 2001 ) och reser längs breda kontra smala vägar (Zhai, Kandogan, Smith, & Selker, 1999). Även om antalet fel som användare gör under vägsökning ofta används som ett mått på prestanda (se ovan) är det sällsynt att felen klassificeras, även om detta kan belysa några av de grundläggande orsakerna till svårigheter användare har navigera i en viss VE. Den typ av fel som oftast identifieras i wayfinding är en miss, som inträffar när en användare reser inom synhåll för en given plats utan att vända sig för att titta på den (Ruddle, Payne, & Jones, 1998; Ruddle & Péruch, 2004). De mest sannolika orsakerna, naturligtvis, är de utarmade FOV som tillhandahålls av de flesta VE-system och begränsningar av den hastighet med vilken användarna kan se sig omkring, motsvarigheten till glänsande tillfälligt över axeln i den verkliga världen är vanligtvis omöjligt att uppnå. För VEs som virtuella byggnader, som är strukturerade som en graf, fel kan klassificeras i termer av var längs en väg varje fel gjordes (t.ex. den första kontra en efterföljande beslutspunkt; Ruddle et al., 1998). VE som har en öppen struktur kan använda sig av Delaunay triangulation eller Voronoi regioner (se avsnitt 3.2.4 Felklassificering; se även figur 6 senare i detta dokument). Ett litet antal studievägar (6 av de 40 studierna i bilaga A) har försökt få direkt inblick i användarnas beslutsprocesser. Den mest kända tekniken som ger data medan way finding faktiskt äger rum är för en användare att tänka högt. Detta har framgångsrikt använts i studier som omfattar wayfinding/navigation i VEs (Gamberini et al., 2003; Grammenos, Filou, Papadakos, & Stephanidis, 2002; Murray et al., 2000), webben (Card et al., 2001) och den verkliga världen (Hayes-Roth & Hayes-Roth, 1979). Andra tekniker som ger information om användarnas beslutsfattande är intervjuer och frågeformulär (Elvins m.fl., 2001; Whitton m.fl., 2005; Zhai m.fl., 1999), och dessa äger vanligtvis rum efter det att man har avslutat undersökningen. Tänka högt metoden kan ge detaljerad information under processen för att hitta, men med risk för att kravet att tänka högt kommer att hindra en användares sätt att hitta prestanda. Intervjuer och frågeformulär påverkar inte processen för att hitta en väg, utan förlitar sig mer på att användaren har ett korrekt minne, även om användaren i en intervju skulle kunna bli tillfrågad av en observatör med hjälp av anteckningar som gjorts under vägsökningen. Alla Ruddle och Lessels 643 dessa logiska mätvärden förlitar sig i viss mån på att användarna kan förklara skälen för de beslut som de fattar, men ett bredare antagande av mätvärdena för utvärdering av VE-vägtagning skulle vara en positiv utveckling. Det är väl känt att människor ofta upplever stora svårigheter att hitta i VEs, och vanligtvis tar mycket längre tid att lära sig layouten av virtuella utrymmen än motsvarande verkliga rymden (Richardson et al., 1999; Witmer, Bailey, Knerr, & Parsons, 1996). Författarnas aktuella forskning undersöker vad som krävs om way finding uppgifter ska utföras lika enkelt i en VE som de är i den verkliga världen, med fokus på effekterna av visuell trohet kontra FOV (Lessels & Ruddle, 2004) och visuell kontra rörelse trohet (Lessels & Ruddle, 2005). I forskningen är det deltagarnas uppgift att hitta mål som placeras på ett litet antal tydligt identifierade, möjliga platser i ett 10-10 m virtuellt rum. Åtta av platserna innehåller ett mål och de andra åtta är lockbete (se figurerna 1 och 2). Att titta en gång på varje plats garanterar framgång. Genom att använda VE i rumsstorlek kan effekterna av trohet studeras i avsaknad av den ytterligare komplexitet som orsakas av vägsökning i ett stort utrymme som en byggnad. I slutändan hoppas man dock kunna utvidga forskningsresultaten till storskaliga VE. Den filosofi som styr forskningen är följande. Om det var möjligt att bygga en "virtuell verklighet", som i alla avseenden var oskiljaktig från sin verkliga motsvarighet, då följer att uppgifter skulle vara lika lätt att utföra i den virtuella versionen av miljön som de var i den fysiska versionen. Med tanke på den uppgift vi använder i våra experimentella studier är det enkelt att utföra i den verkliga världen (Lessels & Ruddle, 2005) skulle det också vara enkelt i en virtuell verklighet. Tyvärr är detta inte möjligt med tanke på begränsningarna i nuvarande VE-teknik och så användarna ofta tycker att den virtuella versionen av uppgiften är svår att utföra. Beteendeexperimenten som slutförts hittills har alla använt desktop VEs. Detta avsnitt ger en översikt 644 PRESENCE: VOLYM 15, NUMMER 6 på metoden. I avsnitt 3.2 förklaras sedan de problem som uppstod vid tolkningen av uppgifterna och hur dessa problem löstes genom att tillämpa några av de prestanda- och beteendemått som beskrivs i avsnitt 2. För fullständig information om metoden och resultaten av experimenten, läsarna hänvisas till Lessels & Ruddle (2004, 2005. Gränssnitten har gjort det möjligt för deltagarna att färdas genom VE genom att hålla ned tangenter som gör det möjligt att röra sig antingen a) endast i framåtriktning eller b) framåt/bakåt/sideways/diagonalt. Med alla gränssnitt var deltagarnas siktriktning densamma som orienteringen för deras virtuella kropp, och samma metod användes för att styra riktningsändringar. Det belopp en deltagare tittade upp eller ner var direkt kartlagt till den vertikala positionen för markören på skärmen (noll ordning kontroll), och deltagarna kunde svänga vänster eller höger med en hastighet som ökade med markörens horisontella offset från mitten av skärmen (första ordningen kontroll). Den maximala vridhastigheten var 135 deg/s och siktriktningen ändrades inte alls om markören var i mitten 10% av skärmen. En halkkollisionsvarsalgoritm implementerades som automatiskt guidade deltagarna runt de cylindriska hindren i miljön och längs väggarna. VE-ansökan skrevs i C och OpenGL Performer och kördes på en SGI Onyx 3400 med en bildhastighet på 60 Hz, vilket ger en total system latens på cirka 30 ms. Sex olika visuella scener har använts. Alla scener använde samma visuella representation av cylindrar och mål / lock lådor, men skilde sig avsevärt i termer av de texturkartor som används för att representera miljöns väggar och golv (se figur 2). Rendering används riktade ljuskällor och Gouraud skuggning. Deltagarna tittade antingen på en datormonitor (48 -39 deg; en normal FOV för en VE) eller tre bildskärmar som var ordnade i en båge (144 -39 deg; en bred FOV). En mellan deltagarna design användes, med olika deltagare som deltar i varje experiment. Efter en period med övning i gränssnittet utförde deltagarna två övningsförsök som gjorde det möjligt för dem att bekanta sig med sökuppgiften, och avslutade sedan fyra testförsök. Varje försök började vid startpunkten i gränspausen (se figur 1) och deltagarna sökte tills de hade hittat och valt ut alla åtta mål. Deltagarna informerades om att målen alltid fanns i lådorna som låg ovanpå cylindrarna, men att placering av lådorna och målen förändrades mellan försöken. Det primära problemet vid tolkningen av experimentella data var följande: När deltagarna utförde uppgiften i en verklig version av miljön fullföljde de 93 % av försöken genom att endast en gång kontrollera varje mål/decoy box, vilket i fråga om antalet platser som kontrollerats representerar en perfekt sökning. I varje experimentellt tillstånd som användes i VEs, deltagarna ibland fullföljde uppgiften perfekt, men vid andra tillfällen upplevde stora svårigheter och återbesökte en betydande del av miljön. Konventionella uppgifter prestandamått såsom den tid som togs eller avstånd reste visade sig vara otillräckligt finkorniga för att upptäcka skillnader som fanns i det sätt som deltagarna sökte VEs som konstruerades med hjälp av olika kombinationer av de visuella scener, FOVs, och gränssnitt som beskrivs ovan. Som ett resultat analyserades data med hjälp av ett urval av mätvärden, nämligen: 1. Uppgiftsutförande a. Närhet till att utföra en perfekt sökning (relaterat till antalet fel) 2. Beteende a. Locomotion: Makro-nivå sökning heuristic b. Locomotion: Rörelse uppdelning (start-stopp frekvens, och tidsklassificering) c. Fel klassificering d. Tittar runt (kvantitet, profil, och inverkan på fel som gjorts) 3.2.1 Perfekt sökning Metrisk. Totalt fullföljde deltagarna 47 % av VE-försöken genom att kontrollera varje mål/decoy box endast en gång. Av de återstående försöken avslutade deltagarna några på ett nästan perfekt sätt, till exempel dubbelkolla bara ett mål eller lockbete, Ruddle och Lessels 645 men vid andra tillfällen sökte stora delar av VE flera gånger. Ibland var detta en direkt följd av att tidigare ha rest förbi ett mål utan att stanna för att kontrollera det så, när deltagaren hade avslutat den inledande fasen av sin sökning, de hade ingen aning om var det saknade målet, eftersom de redan hade rest genom hela miljön (se figur 3a). När detta inträffade sökte en del deltagare igenom miljön på ett systematiskt sätt, men andra ändrade sin strategi och visade sig välja rutorna för att kontrollera på nytt på ett godtyckligt sätt. Vid andra tillfällen lämnades den allmänna region som innehöll ett mål oberest under den inledande sökningen (se figur 3b). För att skilja mellan ovanstående fall utvecklades ett prestandamått som mätte hur nära varje försök kom att slutföras på ett perfekt sätt (kontroll av varje mål/decoy endast en gång). Detta mått beräknades genom att summera närhetspoängen för varje mål fram till den punkt då det första målet eller lockbetet återbesöktes. Mål som hade hittats fick noll poäng, liksom mål som deltagaren hade stött på men inte kontrollerat. För andra mål var poängen det närmaste avståndet till målet hittills. En analys av varians visade att deltagarna kom betydligt närmare (p.05) att genomföra en perfekt sökning när en hög trohet visuell scen kombinerades med en bred FOV än med andra kombinationer av scen och FOV, även om det inte fanns någon betydande skillnad i termer av totala avstånd resor eller tid (se Lessels & Ruddle, 2004). Grupp innebär för den perfekta sökningen sträcker sig från 1,2 m (hög trohet / bred FOV) till 5.3 m för sökningar som utförs i VEs, jämfört med 0,05 m för dem som genomförs i den verkliga världen. I den verkliga studien använde 93 % av försöken en heuristisk som, genom att dela VE i kvadranter och skriva ner den sekvens i vilken de skrevs in, otvetydigt kunde klassificeras som antingen omkrets-första eller gräsklippare (se figur 4). Perimeter-första sökningar besökte kvadranterna i ordningen 1-2-3-4-1 (medurs) eller 1-4-3-2-1 (moturs). Lawnmower sökningar innebar en sekvens av passerkort som korsade VE: s centerline. Samma två heuristika användes i 97% av VE-studierna, men, som redan har förklarats, endast hälften av dessa utfördes på ett perfekt sätt. Således, även om verkliga världen och VE beteende var liknande på en makro nivå, som inte översättas till en likhet i sökprestanda. Detta identifierade behovet av att analysera deltagarnas beteende på en finare detaljnivå, i termer av deras rörelse, de fel som gjorts, och i vilken utsträckning de såg sig omkring. 646 PRESENCE: VOLYM 15, ANTAL 62.3 Rörelsefördelning. Två aspekter av rörelse analyserades: i vilken utsträckning deltagarna reste i en kontinuerlig rörelse från ett mål till ett annat, och hur stor andel av tiden som tillbringades mellan mål och lockbete. I genomsnitt i VEs deltagarna stannade en gång på väg till varje mål / lockbete i varje försök, men aldrig pausade mellan mål och lockbete när uppgiften utfördes i den verkliga världen. Effekten av pauserna på de avstånd som deltagarna reste under varje period av kontinuerlig rörelse markeras i figur 5. Sammantaget dessa pauser stod för ungefär en tredjedel av den tid deltagarna tog att utföra prövningarna i VEs och, även om en betydligt mindre andel av tiden tillbringade pauser när en bred snarare än en normal FOV användes (p.05), vilket tyder på en förändring mot en verklig värld beteendemönster, storleken på skillnaden var liten, 30% mot 38% (se Lessels & Ruddle, 2004). Sammantaget belyser dessa data en tydlig skillnad mellan de smidiga, kontinuerliga rörelser som deltagarna gjorde när de utförde uppgiften i den verkliga världen, och start-stopp-karaktären hos deras rörelser i en VE. Användningen av en bild-riktning promenad metafor för rörelse i VE förhindrade deltagarna från att titta runt medan de reste i en rak linje och det är en faktor som sannolikt har fått dem att pausa. Men liknande beteende hittades i en tidigare studie som använde en HMD och frikopplade vyn och kroppsriktningar, vilket i teorin åtminstone gjorde det enkelt för deltagarna att titta på sidan medan de reste (Ruddle & Jones, 2001 ). Därför verkar det troligt att stopp-start beteende uppstår från mer grundläggande begränsningar som påtvingas av VE-teknik, med kandidater är den abstrakta mekanismen (nyckelpressar) som används för att kontrollera translationära rörelser även i de flesta uppslukande VEs, och den utarmade FOV som hindrar användare från att se mycket av sin omedelbara omgivning vid en tidpunkt och, därför, hindrar planeringen av rörelser som kommer att göras på kort till medellång sikt. Skärningen tillsammans av vägsegment gör rutter mycket lättare att lära sig än om en lång sekvens av individuella ledtrådar och vägval som utgör denna väg måste memoreras (Golledge, 1992). Övergången från kontinuerliga (verkliga) segment till diskreta segment (VE) kommer sannolikt att ha minskat i vilken utsträckning deltagarna kunde skära ihop sekvenser av mål och lockbeten för att göra det lättare att komma ihåg de delar av miljön som hade sökts. Det perfekta sökmåttet belyste det faktum att deltagarna ibland passerade nära ett mål utan att kontrollera det och vid andra tillfällen lämnade betydande områden av en VE oberest tills resten av VE hade sökts upprepade gånger. Detta ledde till uppdelningen av VE i regioner med Delaunay triangulation och klassificeringen av tre typer av fel (miss, lokal försummelse och global försummelse; Lessels & Ruddle, 2004) för att beskriva de mål som inte hittades under det inledande skedet av en deltagares sökning. En miss spelades in om deltagaren tidigare hade rört den cylinder på vilken målets låda var placerad. Lokal försummelse registrerades om deltagaren tidigare hade rest genom någon av Delaunay trianglar anslutna till målets cylinder. Global försummelse registrerades för alla andra fel, vilket tyder på att deltagaren inte hade varit i målets omedelbara närhet (se figur 6 ). I genomsnitt, 1,6 mål hittades inte under den första sökningen av varje försök och, av dessa, missar stod för 5%, lokal försummelse 29%, och global försummelse 66% (se Lessels & Ruddle, 2004, 2005. Ruddle och Lessels 647 procent av felen i varje kategori var likartade för varje kombination av visuell trohet, FOV och rörelsegränssnitt, men kategorisering av felen gjorde det möjligt att bedöma effekten av FOV i detalj (se nedan). För varje försök beräknades det kumulativa belopp med vilket visningsrubriken ändrades för perioder då en deltagare var i) stående på en plats eller ii) reser genom VE. Majoriteten (73 %) av förändringen ägde rum när deltagarna hade slutat resa. På grund av det faktum att alla VE-gränssnitten använde en bildriktningsmetafor för rörelse, förändrades siktriktningen under resan när deltagarna ändrade sin färdriktning. Vissa förändringar i siktriktningen inträffade när deltagarna stod på ett ställe och tittade runt. Andra deltagare stannade, valde en ny riktning att resa i, och sedan återupptar rörelse. Det förutspåddes att deltagarna skulle se sig omkring mindre när de fick en bred FOV, eftersom det gjorde det möjligt för dem att se en stor mängd av miljön genom att skanna bildskärmarna i stället för att vrida sitt virtuella huvud, och detta skulle visas genom en förändring i profilen av vinklar genom vilka deltagarna ändrade sin vy rubrik när de stod på ett ställe. Det var dock liten skillnad i profilerna för breda och normala FOV (se figur 7). En finare analys av att se sig omkring utfördes för att relatera förändringar i deltagarnas synriktning till de typer av fel som identifierades ovan. För varje försök där en miss eller lokal försummelse inträffade, var en animation av deltagarnas FOV överlagd på den väg de följde och används för att undersöka var de letade under den tid då varje fel gjordes. I 94 % av de missar som deltagarna gjorde med en normal FOV tittade de direkt på målet i fråga när de stod bredvid den (Lessels & Ruddle, 2004). Med en bred FOV, var målet visas på den centrala monitorn för 80% av missarna och på antingen vänster eller höger monitor för de återstående 20%. Det var dock en annan historia när det gällde lokal försummelse (se figur 8). Med en normal FOV, 98% av de mål som försummades aldrig dök upp i deltagarnas uppfattning när de var i omedelbar närhet av ett mål (dvs. inom Delaunay trianglar som definierade den lokala regionen). Å andra sidan, med en bred FOV 56% av dessa mål var synliga på antingen vänster eller höger monitor när deltagarna var i ett måls omedelbara närhet, med de andra 44% aldrig synlig. Way finding är en av de oftast utförda och ofta studerade uppgifterna i VEs. Även om 648 PRESENCE: VOLYM 15, ANTAL 6 de allra flesta studier mäter användarnas prestanda på minst ett sätt, finns det en tendens att förlita sig på hypoteser och anekdotala observationer för att förklara eventuella skillnader som uppstår. Detta papper granskar mätvärden som kan användas för att mäta olika aspekter av wayfinding beteende och den beslutsprocess som åtföljer det. Genom att lyfta fram de tekniker som används av vissa forskare, syftar denna uppsats till att stimulera en bredare användning av mått på beteende och logik, vilket leder till större insikter i hela processen att hitta sätt och möjliggör enklare jämförelser mellan resultaten av de studier som utförs av olika forskargrupper. För att illustrera den praktiska användningen av några av mätvärdena användes författarnas aktuella forskning om effekterna av visuell trohet, FOV och rörelsetrohet på VE-sökvägen som fallstudie. Dessa mått visade att deltagarna använde samma allmänna heuristik (perimeter eller gräsklippare sökmönster) för att vägleda sin vägsökning i både verkliga världen och VE-versioner av uppgiften, men detta inte översättas till en likhet i termer av prestanda. Därför var det nödvändigt att göra en mer detaljerad analys av beteende. Att bryta ner deltagarnas sätt att hitta i perioder när de antingen reste eller var stationära belyste kontrasten mellan deltagarnas kontinuerliga rörelser mellan mål och lockbete i den verkliga världen, med start-stopp-naturen av deras rörelse i VEs. Detta, och dess inverkan på den lätthet med vilken deltagarna kunde skära ihop segment av sin väg genom en miljö, ger en förklaring till den allmänna svårigheten att deltagarna upplevde att utföra uppgiften i en VE. En stor utmaning för utvecklarna av VE-system och teknik är att tillhandahålla gränssnitt som tillåter fri rörlighet under vägsökning. FOV:s roll framhävdes genom en finslipad analys av de fel som deltagarna gjorde i samband med i vilken utsträckning de såg sig omkring. Varje mål som missades var synligt i en deltagares FOV när personen stod bredvid det, så en viktig fråga är varför personen inte kontrollera dessa mål? Trodde deltagaren att dessa redan hade kontrollerats, eller saknade personen dem på grund av andra aspekter av den visuella scenen? Att använda en tankebaserad metod skulle bidra till att ge ett svar. Analys av deltagarnas blickar visade också att, med en normal FOV, nästan varje gång ett lokalt mål försummades var det helt enkelt för att målet låg utanför FOV. Ett sätt att lösa detta skulle vara att avsevärt minska tidskostnaden för att se sig omkring och låta deltagarna utföra den verkliga världen motsvarande blickar åt ena sidan medan de reste genom en VE. Detta kan uppnås genom att man kartlägger siktriktningen direkt mot en sensors riktning (t.ex. en Intersense InertiaCube2) i stället för att använda en styrmetafor där deltagarna roterade sin siktriktning med en hastighet som berodde på offset av en markör från mitten av displayen. Detta skulle öka hastigheten för exakta riktningsändringar, vilket skulle förväntas med nollreglering snarare än första ordningens kontroll. Även när en bred FOV tillhandahölls försummade deltagarna ofta mål som var synliga på sidorna av den kombinerade displayen. Detta belyser behovet av att undersöka olika metoder för att visa en bred FOV, inklusive förvrängning av geometriska FOV i förhållande till Ruddle och Lessels 649 fysiska FOV, och användningen av eyetracking för att bestämma de delar av en display som deltagarna deltog i. Slutligen inträffade en stor del av deltagarnas fel på grund av att delar av VE var helt försummade under den inledande studieperioden. Framtida användning av en tankehöjande metod kan bidra till att förklara varför denna försummelse inträffade.
Olika mått för att utforska sätt att hitta i en interaktiv 3D virtuell miljö, inklusive spelarens rörelse och orientering, som involverar synfältsuppfattning och minne har studerats REF.
Three Levels of Metric for Evaluating Wayfinding
{'venue': 'PRESENCE: Teleoperators and Virtual Environments', 'journal': 'PRESENCE: Teleoperators and Virtual Environments', 'mag_field_of_study': ['Computer Science']}