Vi utvecklar ett probabilistiskt ramverk för att dra slutsatsen den pågående uppgiften i visuell sökning genom att avslöja vad ämnet söker under en sökningsprocess. Baserat på svårighetsgraden undersöks två typer av uppgifter, enkla och svåra, i detta arbete, och individuella modeller anpassas efter deras specifika dynamik. Vi använder Hidden Markov Models (HMMs) för att fungera som en modell för den mänskliga kognitiva processen som är ansvarig för att styra centrum av blick (COG) enligt den uppgift som finns till hands under visuell sökning och generera uppgiftsberoende ögonvägar. Denna generativa modell, då, används för att uppskatta sannolikheten termen i en Bayesian inference formulering för att härleda uppgiften med tanke på ögonbanan. I den enkla uppgiften, fokusering uppmärksamhet (FOA) ofta landar på mål, medan i den svåra, förutom på mål foci av uppmärksamhet, utplacering av uppmärksamhet på icke-målobjekt sker mycket ofta. Därför föreslår vi en enkel-state och en multi-state HMM för att fungera som den kognitiva processmodellen för uppmärksamhet för de enkla och svåra uppgifterna, respektive. Människans vision är en aktiv, dynamisk process där betraktaren söker efter specifika visuella ingångar enligt den pågående kognitiva och beteendemässiga aktiviteten. En kritisk aspekt av den aktiva synen är att rikta en rumsligt avgränsad region av det visuella fältet (ca 38) som motsvarar den högsta upplösningen regionen av näthinnan, den så kallade fovea, till den uppgiftsrelevanta stimuli i miljön. På så sätt får vår hjärna en tydlig bild av de iögonfallande platserna i en bild och kommer att kunna bygga upp en intern, uppgiftsspecifik, representation av scenen (Breitmeyer, Kropfl, & Julesz, 1982; Findlay & Gilchrist, 2001 ). Vid visuella aktiviteter gör ögonen snabba rörelser, så kallade sakkader, vanligtvis mellan två och fem gånger per sekund, för att föra in miljöinformation i fovean. Mönsterinformation förvärvas endast under perioder av relativ blickstabilitet, kallas fixeringar, på grund av näthinnans tidsfiltrering och hjärnans undertryckande av information under sakkaderna (Matin, 1974). Gaze planering, alltså, är processen att styra fovea genom en scen i realtid i tjänst av pågående perceptuell, kognitiv och beteendemässig aktivitet. Frågan om exakt vad som händer under fixeringar är fortfarande något av ett pussel, men effekten av visuell uppgift på mönstret och specifikationer av ögonrörelser har länge studerats i litteraturen (Kowler, 2011). I två seminala studier visade Yarbus (1967) och Buswell (1935) att visuell uppgift har stor inverkan på specifika parametrar för kontroll av ögonrörelser. Figur 1 visar Yarbus observation att ögonfixeringar inte är slumpmässigt fördelade i en scen, utan istället tenderar att samlas på vissa regioner på bekostnad av andra. I denna figur kan vi se hur visuell uppgift modulerar synligheten i olika regioner och som ett resultat ändrar mönstret för ögonrörelser. Kanske Yarbus effekten bäst studeras för uppgiften att läsa. Clark och O'Regan (1998) visade att när man läser en text landar blickcentrum (COG) på de platser som minimerar tvetydigheten i ordet som uppstår till följd av det ofullständiga erkännandet av bokstäverna. Feature integration teori (Treisman & Gelade, 1980) och guidad sökning (Wolfe, Cave, & Franzel, 1989) är två seminal verk som studerar effekten av visuell sökning på hur vår hjärna riktar ögonen genom en scen. I en annan studie visade Bulling, Ward, Gellersen och Tröster (2009) också att ögonrörelseanalys är en rik modalitet för aktivitetsigenkänning. Även om effekten av visuell uppgift på ögonrörelser mönster har undersökts för olika uppgifter, det inte görs mycket inom området visuell uppgift slutsatser från ögonrörelser. I en framåt Yarbus process, visuell uppgift ges som en ingång, och utgången är uppgiftsberoende banor av ögonrörelser. I detta arbete, å andra sidan, är vårt mål att utveckla en metod för att förverkliga en omvänd Yarbus process där vi kan härleda den pågående uppgiften genom att observera tittarens ögonrörelser. Att lösa en omvänd Yarbus-kartläggning är dock ett opåtänkt problem och kan inte lösas direkt. I en studie gjord av Greene, Liu och Wolfe (2011) gjordes till exempel ett misslyckat försök att direkt lösa ett inverst Yarbus-problem, vilket ledde till slutsatsen att ""Den berömda Yarbus-figuren kan vara övertygande men tyvärr verkar dess budskap vara vilseledande. Varken människor eller maskiner kan använda scan vägar för att identifiera uppgiften för betraktaren (Greene et al., 2011, s. 1)" Med detta sagt, i detta arbete hittar vi ett sätt att regularisera problemets oprecishet och föreslå en modell för att dra slutsatsen en visuell uppgift från ögonrörelser. Visuell sökning är en av huvudingredienserna i många komplexa uppgifter. När vi letar efter ett ansikte i en folkmassa eller räknar antalet vissa objekt i en rörig scen, utför vi omedvetet visuell sökning för att leta efter vissa funktioner i ansiktet eller i objekten i en scen. Som föreslagits i Treisman och Gelade (1980), graden av svårighet i en sökning uppgift kan variera beroende på antalet funktioner som skiljer målobjektet från distraherarna. Till exempel, mål som definieras av en unik färg eller en unik orientering hittas lättare jämfört med de som definieras av en kombination av funktioner (t.ex., röda vertikala stänger). På grundval av detta undersöker vi två typer av visuell sökning, som vi kallar enkel sökning och svår sökning. I den enkla sökuppgiften är komplexiteten i att bestämma förekomsten av ett mål lägre än den svåra sökningen, vilket minskar antalet fixeringar på icke-målobjekt jämfört med den svåra sökuppgiften. I detta arbete utvecklar vi en metod för att dra slutsatsen uppgiften i visuell sökning, vilket i huvudsak är detsamma som att ta reda på vad betraktaren letar efter. Detta är användbart i applikationer där kännedom om målobjekt i en scen kan hjälpa oss att förbättra användarupplevelsen i interaktion med ett gränssnitt. Att till exempel veta vad användaren söker på en webbsida i kombination med en dynamisk design kan leda till en smart webbsida som belyser relevant information enligt den pågående visuella uppgiften. Samma idé gäller intelligent tecken som ändrar dess innehåll för att visa relevanta annonser enligt foci av uppmärksamhet som härleds från varje tittares ögonrörelser. Den modell vi föreslår bygger på den generativa modellen av dolda Markov-modeller (HMM). För varje uppgift tränar vi en uppgiftsspecifik HMM för att modellera den kognitiva processen i den mänskliga hjärnan som genererar ögonrörelser med tanke på uppgiften. Utgången av varje HMM, då, skulle vara uppgiftsberoende ögonbanor tillsammans med deras respektive sannolikheter. För att dra slutsatsen den pågående uppgiften använder vi denna troliga term i en Bayesian inference ram som införlivar sannolikheten med a-prioriterad kunskap om uppgiften och ger den bakre sannolikheten för olika uppgifter med tanke på ögonbanan. HMMs har framgångsrikt tillämpats i taligenkänning (Rabiner, 1990), anomali upptäckt i videoövervakning (Nair & Clark, 2002), och handstil erkännande (Hu, Brown, & Turin, 1996). I studierna relaterade till ögonrörelseanalys använde Salvucci och Goldberg (2000) HMMs för att bryta ner ögontrajectorier till fixeringar och sakkader. I en annan studie har Salvucci och Anderson (2001) utvecklat en metod för automatiserad analys av ögonrörelsebanor i uppgiften att lösa ekvationer med hjälp av HMMs. Simola, Salojärvi och Kojo (2008) använde HMM för att klassificera ögonrörelser i tre faser, var och en representerar ett bearbetningstillstånd i det visuella kognitiva systemet under en läsuppgift. Van Der Lans, Pieters och Wedel (2008) analyserade de pågående uppmärksamhetsprocesserna under den visuella sökningen. Genom att träna en HMM över en databas av sökvägar, visade de att HMMs är ett kraftfullt verktyg för att modellera de två underliggande kognitiva processerna i en sökning operation-som är, lokalisering av objekt och identifiering av målet bland distraktorerna. Dessa studier instämmer enhälligt i att ögonrörelser kan modelleras väl som resultatet av en sekventiell process som använder visuella resurser på synfältet under en visuell uppgift baserad på en Markov process (även Ellis & Stark, 1986; Pieters, Rosbergen, & Wedel, 1999; Stark & Ellis, 1981). De modellerar också fixering positioner som bullriga resultat av en sådan process, där den eventuella avvikelsen i ögonposition från fokus för uppmärksamhet kan kartläggas till skillnaden mellan observation och dolda tillstånd i samband med HMMs (även Hayashi, Oman, & Zuschlag, 2003; Rimey & Brown, 1991). De flesta studier tar dock endast upp en specifik uppgift, såsom att läsa en text eller söka ett specifikt objekt bland en grupp av distraherare, och studerar inte effekten av uppgiften på den visuella uppmärksamheten. Att studera effekten av visuell uppgift på parametrarna i den kognitiva modellen för uppmärksamhet kan hjälpa oss att komma på mer exakta modeller som innehåller uppgifter specifika egenskaper visuell uppmärksamhet. Dessutom kan vi använda sådana uppgiftsberoende modeller i samband med Bayesian inference för att dra slutsatsen den pågående uppgiften baserat på aposteriori kunskap om ögonrörelser. Såvitt vi vet är den uppgiftsberoende modelleringen av HMM:s uppmärksamhet och användningen av den för att dra slutsatsen om den visuella uppgiften ett ämne som inte har undersökts i litteraturen relaterad till beräkningsmodellering. För att visa vårt tillvägagångssätt utförde vi två experiment. I den första studien tog vi itu med att dra slutsatsen om den pågående uppgiften i en enkel sökning, där mål definieras av en enda funktion och kan ses utan att landa många fixeringar på distraktorerna. Den föreslagna modellen antyder vilka objekt som söks med tanke på den rumsliga placeringen av fixeringar i en ögonbana och den stimulans på vilken den visuella sökuppgiften utfördes. I det andra experimentet utvidgade vi vår modell för att dra slutsatsen om uppgiften i en svårare sökuppgift. Den applikation vi utformade för den svåra sökningen är ett mjukt tangentbord, där ämnena kan skriva ett ord genom att rikta sin COG på tecken som visas på en skärm (eye-typing). I detta fall kan man dra slutsatsen att uppgiften är likvärdig med att känna igen ordet som är ögontypat, baserat på ögonrörelserna och tangentbordets layout. För att möjliggöra utplacering av uppmärksamhet på icke-målobjekt, som orsakas av den ökade komplexiteten i uppgiften, lägger vi till ett sekundärt tillstånd till HMM-strukturen som står för dessa icke-målat allokering av uppmärksamhet på distraherare. HMM:s dubbelstatsstruktur gör det också möjligt för oss att fånga dynamiken i statsövergångar, liksom fixeringarnas rumsliga information, för att belysa de mer frekvent besökta, uppmärksamhetskrävande platser som innebär tyngre interaktion med arbetsminnet. I detta experiment visar vi också hur icke-målfixeringar kan hjälpa oss att dra slutsatsen om uppgiften genom att visa aktivitetsspecifika mönster baserat på utseendet på målet. Därför, i en förlängning till vår dubbelstatsmodell, lägger vi till ett extra tillstånd till strukturen av HMM, som bildar en tri-state HMM, att segregera rikta fokus på uppmärksamhet (FOA) på liknande-till-mål eller olik-mål distraherare. Vi jämför resultaten av dessa modeller på en databas över ögonrörelser som erhållits i den mjuka tangentbordsapplikationen för att se hur införandet av nya stater till modellen påverkar resultaten av uppgiftsinferens i en svår sökuppgift. Generativt lärande är en klass av övervakat lärande som klassificerar data på ett probabilistiskt sätt (MacKay, 2003). Genom att tillämpa probabilistiska slutsatser kan vi utveckla ett matematiskt ramverk för sammanslagning av alla informationskällor och presentera resultatet i form av en sannolikhetsdensitetsfunktion. Vid utveckling av en omvänd projektion från ögonrörelseutrymme till visuell uppgiftsutrymme, kommer denna struktur att vara användbar i den meningen att den kan införliva förkunskaper om uppgifterna. Dessutom behöver vi slutsatsen att ge oss en sannolikhetsfördelning över olika möjliga uppgifter snarare än att ge oss en enda uppgift som resultat. På så sätt kan vi utforma en process på högre nivå som fattar beslut om uppgiften och ger oss ett visst förtroende för beslutet. Antag att vi har data av formen,Q, k., där k È K är en uppgift etikett i uppsättningen av alla uppgiftsetiketter K och Q är vektorn som innehåller observation sekvensen av fixering platser (q 1,q 2,. ..,q T ) prov från en stokastisk process {q t } vid diskreta tider t 1⁄4 {1, 2,..., T} över slumpmässiga bildplatser. Varje q i, själv, är en vektor som innehåller koordinaterna för en fixering vid tiden jag definieras av (x i, y i ), där x i och y i är x och y koordinaterna för i t th fixering, respektive. I allmänhet modellerar generativa inlärningsalgoritmer två enheter: Den tidigare sannolikheten för varje uppgift k È K. P (Qjk): Uppgiften villkorlig fördelning som också kallas sannolikhetsfunktionen. Vi kan skriva sannolikheten för uppgift k ges en observerad ny sekvens Q genom en enkel tillämpning av Bayes regel: Således, för att göra en slutsats, måste vi få sannolikhetsbegreppet och modulera det genom vår tidigare kunskap om uppgifterna. Sannolikheten kan betraktas som en objektiv utvärdering av framåt yarbus processen i den meningen att den bedömer sannolikheten för att se en observation ges en uppgift. Sannolikheten kan uttryckas på följande sätt: Standardmetoden för att kvantifiera sannolikheten är att använda en lönekarta som en indikator på hur attraktiv en viss del av synfältet är att uppmärksamma (Itti, Koch, & Niebur, 1998). I teorierna om visuell uppmärksamhet finns två viktiga synpunkter som antingen betonar bottom-up, bild-baserad, och uppgiftsoberoende effekter av den visuella stimuli på saliency karta eller top-down, viljestyrd, och uppgiftsberoende modulering av sådana kartor. I bottom-up modeller, allokeringen av uppmärksamhet baseras på egenskaperna hos den visuella stimuli och inte använder någon top-down vägledning eller uppgiftsinformation för att flytta uppmärksamheten (dvs., P[Qjk] antas vara lika med P[Q]). Dessutom, i denna modell antas det att observationerq jag är villkorligt oberoende vilket minskar sannolikheten för att termen till: Bottom-up modeller har undersökts i stor utsträckning och är ganska välutvecklade (Itti & Koch, 2001a), men empirisk utvärdering av sådana modeller visar att de är tråkigt dålig på att redovisa faktiska uppmärksamhet tilldelningar när en visuell uppgift är inblandad (Einhäuser, Rutishauser, & Koch, 2008). Vi anser att den största delen av detta underskott beror på bristen på uppgiftsberoende i modellerna. Å andra sidan, de top-down modeller (t.ex., Itti & Koch, 2001b; Rutishauser & Koch, 2007) Även top-down modeller tar något problemet med uppgift oberoende av bottom-up modeller, de bygger på vissa antaganden som försämrar deras prestanda för att få sannolikhetsbegreppet. I vår föreslagna modell använder vi HMM för att mildra dessa antaganden och ta itu med bristerna i Saliencybaserade modeller. När en visuell uppgift ges till en observatör kan den observerade COG-banan variera från subjekt till subjekt, även om uppgiften måste leda FOA till vissa mål i en bild. 1 Med andra ord, ögonposition inte berätta hela historien när det gäller att spåra uppmärksamhet (Carrasco, 2011). Även om det är väl känt att det finns en stark koppling mellan ögonrörelser och uppmärksamhet (Rizzolatti, Riggio, & Sheliga, 1994), uppmärksamhetsfokus är dock ofta långt från den nuvarande ögonpositionen (Fischer & Weber, 1993). Ögonspårningsmetoder kan vara lämpliga när försökspersonen utför en uppgift som kräver foveation. Dessa metoder är dock inte särskilt användbara (och till och med kontraproduktiva) när ämnet utför uppgifter som kräver perifer vaksamhet. Figur 2 visar två olika ögonbanor som registrerats medan tittarna räknade antalet ''A'' i en bild. Som kan ses illustrerar dessa två bilder olika nivåer av koppling mellan COG och FOA. I den vänstra figuren, fixeringspunkter främst landa på mål av intresse (overt uppmärksamhet), medan i den högra siffran, COG inte nödvändigtvis följa FOA och ibland vår medvetenhet om ett mål inte innebär foveation på det målet (täck uppmärksamhet). Den förste forskaren som ger en experimentell demonstration av hemlig uppmärksamhet är känd för att vara Helmholtz (1896). I sitt experiment belyste Helmholtz kort inuti en låda genom att tända en gnista och tittade på den genom två hål. Innan blixten såg han till en viss region av sitt synfält utan att röra ögonen i den riktningen. Han visade att endast föremålen i det närvarande området kunde kännas igen, vilket antyder uppmärksamhet, kan vara borta från ögonrörelserna. I det verkliga livet avviker människors uppmärksamhet ofta från fixeringsplatsen för att ge oss kunskap om den parafoveala och perifera miljön. Denna kunskap kan hjälpa hjärnan att avgöra var figur 2 finns. Ögontrajectories registreras när du utför en uppgift med samma stimulans. I banorna avbildar raka linjer sakkader mellan två på varandra följande fixeringar (visas av prickar). I denna figur visas två ögonblicksbilder av ögonrörelserna under uppgiften att räkna ''A''s. Resultaten av att räkna tecknen var korrekta för båda fallen. Det mål som verkar vara överhoppat (den mittersta högern ''A' i den högra figuren) har varit närvarande någon gång. (2013) Nästa fixering som är mest informativ för att bygga den interna representationen av scenen. Denna diskrepans mellan FOA och COG hjälper oss att effektivt undersöka en scen, och samtidigt gör FOA dold och därmed svårspårad. En offtarget fixering kan också tillskrivas en oavsiktlig, uppmärksamhetsoberoende rörelse av ögon, utrustning bias, undershooting eller overshooting av målet (Becker, 1972), eller fenomenet COG fixering (Han & Kowler, 1989; Najemnik & Geisler, 2005; Zelinsky, Rao, Hayhoe, & Ballard, 1997), och kan orsaka förekomsten av olikartade ögontrajectories från flera framåt kartläggningar från aktivitetsutrymmet och gör därför den inversa kartläggning från ögonrörelse utrymme till visuell-task utrymme (inverse Yarbus) ett illa placerade problem. En lösning på problemet med att generera FOA trajectories är att tvinga bindningen av uppmärksamhet till ögonrörelser genom att sänka förhållandet mellan mållön och bullerstyrka distraktor salience. På så sätt blir målen mer resolutionskraviga och behöver på så sätt födosök för att kunna särskiljas från de omgivande distraherarna. Den resulterande COG, då, kommer att vara samma som FOA bana. Manipuleringen av signal-brusförhållandet (SNR) har tidigare studerats av Koch och Ullman (1985) som ett sätt att dra till sig uppmärksamhet. I en annan studie föreslog Wolfe, Butcher, Lee och Hyle (2003) att SNR skulle maximeras för att minska söktiden. Även om vi genom att minska SNR lättare får uppmärksamhetsbanor är det inte alltid möjligt att manipulera bilden SNR. Till exempel, i naturliga bilder, eller mer allmänt i icke-syntetiska stimuli, har vi begränsad kontroll över bilden för att justera hållbarheten av mål. Ett annat sätt att legalisera det illvilliga problemet i den inversa Yarbus processen är att överväga det faktum att även om en uppgift kan generera olika ögonrörelser, har den alltid sina egna mål av intresse för en bild som kan avslöjas genom att spåra overt och dold uppmärksamhet. Således, om vi kunde hitta ett sätt att spåra dold uppmärksamhet (tracking overt uppmärksamhet är bara lika med eyetracking) med tanke på ögonrörelserna, skulle vi kunna reglera den illa placerade inversa problemet och hitta en lösning på vår uppgift inference problem. Men dold uppmärksamhet är annorlunda än ögonposition och avslöjar sin plats behöver mer komplexa spårningsalgoritmer än att bara spåra ögats position. En viktig punkt att notera är att "offstimulus"-fixeringar inte nödvändigtvis innebär att FOA är borta från fixeringen (dvs. förtäckt). Till exempel, i ett fenomen som kallas tyngdpunkten (även känd som den globala effekten; He & Kowler, 1989; Najemnik & Geisler, 2005; Zelinsky et al., 1997) är stimulans faktiskt samling av funktioner, och placeringen av stimulansen är centrum-av-massa av denna samling. Därför är FOA i detta fall overt. I resten av artikeln utvecklar vi en metod för att spåra fokus för uppmärksamheten, oavsett om den är öppen eller dold, som bygger på teorin om HMMs. Till skillnad från soliditetsmodellerna bör den föreslagna modellen kunna representera off-stimulus platser och sluta sig till uppgiften oberoende av uppmärksamhet overtness. En HMM är en statistisk modell baserad på Markovprocesser där staterna inte kan observeras. Med andra ord, HMMs modell situationer där vi får en sekvens av observationer (som beror på ett dynamiskt system), men inte observera tillståndet i själva systemet. Mer specifikt är en HMM en ändlig tillstånd maskin (FSM) där varje tillstånd är associerad med en sannolikhetsfördelning eller observationsfunktion. En uppsättning övergångssannolikheter styr övergångarna mellan staterna och efter varje övergång genereras en observation enligt statens observationsfunktion. Det enda resultatet från en HMM är observationssekvensen och den genererande tillståndssekvensen är dold för observatören; därför kallar vi tekniken Dold Markov Modell (se figur 3). En typisk diskret tid, kontinuerlig HMM k kan definieras av en uppsättning parametrar k 1⁄4 (A, B, P) där A är den uppsättning av sannolikheter för statsövergång som styr övergångarna mellan staterna; B är den uppsättning parametrar som definierar observationsannolikhetstäthetsfunktionen för varje tillstånd; och P är den ursprungliga tillståndsfördelningen och definierar sannolikheten för att börja från var och en av de stater som får en observation. I litteraturen om HMMs hittar vi tre stora problem: utvärdering, avkodning och utbildning. Anta att vi har en HMM k och en sekvens av observationer Q. Utvärdering eller poängsättning är beräkningen av sannolikheten för att observera sekvensen med tanke på HMM, dvs. P(Qjk). Decoding finner den bästa tillståndssekvensen som maximerar sannolikheten för observationssekvensen med tanke på modellparametrarna. Slutligen anpassar utbildningen modellparametrarna för att maximera sannolikheten för att generera en given observationssekvens (utbildningsdata). De vanligaste algoritmer som klarar av utvärdering, avkodning och träningsproblem kallas fram, Viterbi och Baum-Welch algoritmer, respektive. Detaljer om metoderna finns i Rabiner (1990) och Huang, Ariki och Jack (1990). I vår föreslagna modell består varje stat av ett visst antal mål. Dessa mål berättar alla möjliga platser för FOA medan vi är i ett tillstånd. Målen kan erhållas från saliencykartorna, eller när det gäller diskreta objekt, kan vi betrakta mitten av varje objekt i den tvådimensionella (2-D) Journal of Vision (2013) bilden som ett potentiellt mål, från vilken vi tilldelar ett antal av dem till varje tillstånd. Val av objekt som ska tilldelas varje tillstånd beror på uppgiften. I följande experiment designar vi en enkel-state och en multi-state HMM för att härleda uppgiften i en enkel (Experiment 1) och en svår (Experiment 2) sökuppgift, respektive. I den enkla uppgiften kan målen särskiljas från distraherarna genom en enda funktion, vilket gör dem lätta att upptäcka. I den svåra sökuppgiften bör dock en kombination av funktioner övervägas för att lokalisera målen, vilket gör uppgiften svårare. Svårighetsnivån i uppgifterna återspeglas direkt i antalet fixeringar som görs på icke-målobjekt. I den enkla uppgiften mål är lätt att upptäcka och hitta dem innebär mycket få (om några) fixeringar på icke-mål. Men i den svåra uppgiften, att hitta målet innebär oftast ofta foveation av distraherare för att undersöka de särskiljande dragen i målet. I enstatsutformningen väljer vi alltså bara ut målen och placerar dem i en enstats HMM. Denna modellurval innebär att de flesta fixeringar är på mål, och kartläggningen av fixeringar till de relevanta målen för varje uppgift kan avslöja uppgiften. I experiment 2 visar vi att för att kunna utforma en mer realistisk generativ modell för en svår uppgift måste vi lägga till ett annat tillstånd och sätta alla icke-målobjekt i sekundärtillståndet. I Experiment 2 visar vi också att inte alla icke-målobjekt fixeras med samma frekvens under en svår uppgift. Mönstret av fixeringar på icke-målobjekt visar att de som liknar målet blir fixerade oftare. Denna funktion tyder på att ytterligare klassificera icke-mål på grundval av deras likhet med målet. Därför, i nästa försök, vi förbättra uppgiften inference noggrannhet dubbel-state HMM genom att lägga till en tredje stat till modellen, där en stat är tillägnad målen, en till icke-målobjekt som liknar målet, och en till de som skiljer sig från målet. Varje observation densitet funktion definieras av en 2-D Gaussian funktion centrerad på varje mål och bildar en blandning av Gaussians för alla mål i ett tillstånd. Med andra ord att rikta uppmärksamheten (täckt eller overt) mot ett mål är detsamma som att gå till det tillstånd som innehåller det målet och välja den Gaussiska observationsfunktion som representerar det. Placeringen av COGs modelleras för att vara resultatet av Gaussian blandning modeller (GMMs), som kan vara borta från målet som är närvarande. Ögat rörelsebanor används för att träna GMMs, övergångssannolikheter, och initiala tillstånd fördelningar för att bilda uppgiftsberoende modeller k k, som i sin tur kan användas för att utvärdera sannolikheten P(Qjk k ) för test banor. Genom denna tolkning av variabler kan vi använda en sekvens av fixeringar (Q) för att representera den dolda foci uppmärksamhet i Bayesian inference och ändra ekvation 1 till: Figur 3. Ett prov från första ordningens HMM. En HMM definieras av dess antal tillstånd, sannolikheter för övergång, observations pdfs och initiala tillstånd distribution. Per definition är staterna gömda för observatören och resultatet är en rad observationer som är resultatet av observations pdfs. Vid varje steg väljer processen ett tillstånd enligt de initiala och övergångssannolikheterna och utmatningen är en serie observationer enligt observation pdf av det tillstånd som besöks vid den tidpunkten. Journal of Vision (2013) Sannolikheten kan erhållas genom framåt algoritm och utbildning av modellparametrarna (dvs. A, B och P), som krävs av framåt algoritm, kan göras genom förväntan maximization (EM) baserad algoritm Baum-Welch (Rabiner, 1990). För att bättre förstå hur begreppen dolda tillstånd och observation i en HMM relaterar till den dolda FOA respektive overt COG, här skisserar vi en prototyp som använder HMM som en kognitiv processmodell av uppmärksamhet. Figur 4 Vänster och mitten visar ett urval stimulus och dess motsvarande bottomup saliency karta (se Itti & Koch, 2001a, för mer information om hur man får Saliency karta). Nedifrån-och-upp-kartan visar de iögonfallande platserna i en bild som är potentiella mål för uppmärksamheten, oavsett vilken uppgift som är aktuell (dvs. i fri visning). Därför betraktar vi i vår modell dessa platser som de övergripande målen för de dolda tillstånden i en HMM. Figur 4 Höger visar ögonfixeringsplatser för ett subjekt när det utför en uppgift (räknande tecken) ovanpå den ursprungliga stimulansen. De fixeringsplatser ibland underskjuta eller överskrid målen på grund av buller från ögonspåraren eller okulomotoriska egenskaper hos mänskliga ögon. I vår modell utgår vi från att dessa fixeringsplatser utgör observationerna i HMM-sammanhanget. Vi postulerar att dessa observationer är slumpmässiga resultat från en 2-D Gaussian sannolikhetstäthet funktion (med funktioner x och y i Cartesian koordinater), som är maximal på målplatsen och bleknar bort när vi blir mer avlägsna (Euclidean) från målen. Till skillnad från de klassiska metoderna för uppmärksamhetsspårning, avlastar den föreslagna modellen overtness restriktion postulated i både bottom-up och top-down metoder genom att använda HMMs för att modellera den uppgiftsberoende uppmärksamhetsprocessen. HMMs gör det möjligt för dold uppmärksamhet genom att postulera fixeringarna att vara resultatet av observation distributioner, som kan vara en punkt bort från FOA, medan i top-down och bottomup uppmärksamhet modeller fixering läge antas vara på uppmärksamhet krävande fläckar i en bild. Därför, genom att använda k k (snarare än k) i ekvation 5 kan vi spåra den dolda uppmärksamheten genom att hitta den mest sannolika, dolda foci av uppmärksamhet i k k (för alla uppgifter) som kan generera den givna observationssekvensen och beräkna sannolikhetsbegreppet för att göra en slutledning.  I detta experiment använder vi den föreslagna HMM-baserade modellen för att härleda den pågående uppgiften i en enkel visuell sökning. Slutsatsen görs genom att tillämpa Bayes regel (ekvation 5) på observationssekvenserna i en databas över uppgiftsberoende ögonrörelser. För att få HMM för varje visuell uppgift måste vi träna parametrarna genom att använda ögonrörelsedatabasen för motsvarande uppgift. För att göra det måste vi först definiera strukturen för våra önskade HMM genom att skapa en generisk HMM. Eftersom målet i den enkla sökningen skiljer sig från distraktorerna genom en enda funktion, uppmärksamhet riktas mestadels till uppgiftsrelevanta objekt i scenen. Detta ger oss en bra grund för att jämföra resultaten av HMMs och top-down modeller, eftersom top-down modeller är ineffektiva när det gäller att hantera off-target uppmärksamhet spridning och anta att FOA är främst på mål. För att kunna jämföra modellerna, i vår HMM-baserade modell för den enkla sökningen antar vi också FOAs att vara mest på mål och degenerera den konventionella strukturen av HMMs till en en-state, självåtervändande en, vilket resulterar i en modell som tillåter dold uppmärksamhet och liknar topdown modeller, annars. I den allmänna strukturen för enstats HMM (SSHMM) representerar staten målplatserna för olika uppgifter. För de målplatser vi postulerar att observationerna är slumpmässiga resultat av en blandning av 2-D Gaussians med funktioner x och y i Cartesian koordinater som är maximala på centroids av målen och bleknar bort när vi blir mer avlägsna, mätt med en Euclidean metrisk, från dem (se figur 5 Vänster). I figur 5 i mitten sätter vi ihop observations pdf:erna för alla objekt och lägger dem över på den ursprungliga bilden och dess motsvarande botten-upp-karta. Det är från detta rutnät av Gaussians som vi väljer de som är relaterade till uppgiften och kombinera dem till en Gaussian blandning modell (GMM) med lika vikter för att representera statens observation pdf. Figur 5 Höger visar ett exempel på GMM-fördelningen för uppgiften att räkna tecknen. Från pdf-poolen i figur 5 i mitten väljs endast Gaussianerna centrerade på karaktärerna. Som vi kan se, i denna modell endast dolda HMMs betonas och Markovness av sekvenserna marginaliseras för att göra en maximal sannolikhet estimator med en blandning distribution. Med andra ord, den största skillnaden mellan de klassiska top-down modeller och den föreslagna SSHMM är att i den top-down modellen vi associerar varje fixering till närmaste granne mål, medan i SSHMMs en fixering på ett objekt kan vara en bullrig observation av en uppmärksamhetsfokus på ett annat mål. På så sätt kan vi, genom att jämföra resultaten av top-down modellen och SSHMM, undersöka vikten av att använda observationsdistributionen i HMMs och lyfta fram betydelsen av att överväga dold uppmärksamhet vid uppgiftsinferens. Efter att ha definierat den allmänna strukturen av SSHMM, kan vi få uppgiftsberoende HMMs genom att träna den generiska HMM med uppgiftsspecifika ögonbanor genom att använda förväntan maximization-baserad (EM-baserad) algoritm av Baum-Welch (Rabiner, 1990). I utbildningen, vi fixa medel för Gaussians att anpassa sig till mitten av uppgiften-relevanta objekt och använda en enhetlig fördelning för blandningen av Gaussians tidigare klass sannolikheter för att ta bort eventuella rumsliga fördomar mot något mål i stimuli. Eftersom vi dessutom har en deterministisk statsövergång (A) och initiala statsdistributioner (P), är de enda parametrar som ska tränas kovariances av observations pdfs (C). Efter träning den uppgiftsberoende SSHMM (k k ) för varje uppgift, kan vi beräkna sannolikheten term (P[Qjk k ]) genom att tillämpa parametrarna för k k till framåt algoritm. På detta sätt kommer vi att kunna göra slutsatser om de uppgifter som ges en ögonbana genom att koppla den sannolika termen i ekvation 5. För att kunna utföra utvärderingen jämför vi resultaten från vår modell med resultaten från de uppifrån-och-ned-modellerna. För att bygga en databas av uppgiftsberoende ögonbanor, körde vi 1 080 prövningar och registrerade ögonrörelser av sex försökspersoner samtidigt utföra en uppsättning av fördefinierade enkla visuella uppgifter. Sex McGill doktorander (tre kvinnor och tre män), mellan 18 och 30 år, med normal eller korrigerad syn frivilligt att delta i detta experiment och alla var naiva om syftet med experimentet. Fem olika visuella stimuli genereras av en dator och visas på en 1280 · 800 pixel skärm på ett visningsavstånd på 45 centimeter (18 av visuell vinkel motsvarar 30 pixlar, ungefär). Varje stimulans bestod av 30 objekt, var och en slumpmässigt utvalda från en uppsättning av nio objekt (horisontell bar, vertikal bar och karaktär ''A' i röda, gröna och blå färger) som placerades vid noderna i ett imaginärt 5 · 6 rutnät (6.758 · 8.18) ovanpå en svart bakgrund (se det nedre lagret av figur 5 i mitten). De visuella uppgifterna var att räkna röda barer, gröna barer, blå barer, horisontella barer, vertikala barer eller tecken; därav sex uppgifter totalt. Var och en av uppgifterna definierades så att deras motsvarande mål kan särskiljas från distraherare genom en enda funktion. Till exempel, tecken är de enda objekt som svarar på sneda orienteringsfilter och röda objekt kan upptäckas enbart genom röda funktionskartor (Itti & Koch, 2001a). I början av varje försök, ett textmeddelande som definierar de mål som ska sökas (t.ex., röd, grön, eller tecken) följt av en fixering märke av storlek 0.268 · 0.268 dök upp i mitten av skärmen. Efter foveating fixering märket, initierade deltagaren rättegången med en nyckel-press. När försöken väl utlöstes, visades en av de fem stimulina på displayen och motivets ögonrörelser spelades in under utförandet av den angivna visuella uppgiften. En ögon tracker (RK-726PCI, ISCAN Inc., Woburn, MA) användes för att registrera deltagarens vänstra ögonpositioner vid 60 Hz och en hak vila användes för att minimera huvudrörelser. Enligt tillverkarens produktbeskrivning (ISCAN, version 1.1.01) är ögonspårarens upplösning ungefär 0,38 över 6208 horisontellt och vertikalt område med hjälp av skillnaden mellan pupillen/hörselreflektionen (den faktiska noggrannheten är sannolikt sämre). En LCD-skärm användes för att visa bilderna och försökspersonerna använde båda ögonen för att utföra experimenten. Varje försöksperson utförde sex försökssegment, varav vart och ett bestod av att utföra de sex uppgifterna på fem stimuli, vilket resulterade i 180 försök för varje försöksperson (1 080 försök totalt). I början av varje session kalibrerade vi ögonspåraren genom att låta deltagaren titta på ett 20-punkts kalibreringsgaller (4 · 5) som utökades till 8,08 · 108 av visuell vinkel. Det område som täcks av kalibreringsnätet sträcker sig bortom den stimuli som spänner över 6.758 · 8.18 av visuell vinkel. Efter inspelningen av ögonrörelser utfördes dataanalys på varje försök där vi tog bort blinkningar, avvikelser och prövningar med felaktiga svar i verifieringsfasen från data och klassificerade ögonrörelsedata till sakkader och fixeringar med hjälp av metoden för hastighetströskelidentifiering (I-VT) (Erkelens & Vogels, 1995) med en tröskel på 508/s. Det är allmänt överenskommet att visuell och kognitiv bearbetning sker under fixering och liten eller ingen visuell bearbetning kan uppnås under en säckkad (Fuchs, 1971), därför, i vår analys vi endast ansåg fixeringspunkter. När vi utbildar de uppgiftsberoende HMM sätter vi de initiala värdena på medlen som motsvarar centroiderna i de uppgiftsrelevanta målen på botten-upp-planen. Dessutom, för att kunna använda en utbildad HMM oberoende av den stimuli de har utbildats på, använder vi en teknik som kallas parameterbindning (Rabiner, 1990) för att tvinga en unik, uppgift och stimuli oberoende covariance matris över alla Gaussiska distributioner i blandningarna (tillägg, ''Baum-Welch algoritm'' avsnitt). Med andra ord, både i test- och träningsfaser bygger vi modeller genom att dynamiskt förändra GMM:s medel enligt de uppgiftsrelevanta målen i stimulansen. Detta är en avgörande aspekt av vår modell, eftersom det är definitionen av dessa GMM som, till skillnad från Saliency-modellerna, gör det möjligt för vår modell att representera offstimulus-platser, såväl som on-stimulus-modeller. I träningsfasen använder vi närmaste grannmatchning för att hitta det närmaste läget till varje fixeringspunkt i utbildningsdatabasen och använder provets kovarians som den första uppskattningen av kovariansmatrisen i den generiska HMM och i testfasen använder vi den utbildade kovariansmatrisen. I top-down-uppmärksamhetsmodeller betonar betraktarens uppgift synligheten hos de relevanta målen och förser oss med en uppgiftsmodulerad bärkraftskarta. Eftersom top-down metoder bara modell overt uppmärksamhet, använde vi en närmaste granne strategi för att hitta det närmaste målet till varje fixering plats för att representera sin uppmärksamhet allokering. För att träna uppifrån-och-ned-modellen ställer vi in målkartorna genom att manuellt välja de objekt som ska räknas i varje stimulans (t.ex. röda objekt i uppgiften att räkna antalet röda objekt). För optimering använde vi MATLAB verktygslåda FUNCTION FINSEARCH. Träningen gjordes i batch-läge och en fast summa av vikter lika med en användes för att undvika divergens. De resulterande viktvektorerna användes för att förvärva aktivitetsberoende saltkartor med hjälp av en verktygslåda (Walther & Koch, 2006) slutsatser reducerades till en maximal sannolikhet (ML) estimator; men med ojämlika tidigare sannolikheter kunde vi använda vår tidigare kunskap om uppgifterna och vända slutsatsen till en maximal a-posteriori (MAP) estimator. Förutom oförmågan att hantera dold uppmärksamhet, de top-down uppmärksamhet-tracking tekniker är computationally komplexa. Att hitta aktivitetsberoende viktvektorer kräver optimering för varje stimulans. Inom ramen för HMM kan vi dock uppnå en avsevärd minskning av utbildningen genom att dynamiskt omforma strukturen för uppgiftsberoende HMM. Nämligen, när vi uppskattar kovariansmatrisen i utbildningen, kan vi använda de beräknade värdena för att dynamiskt bygga uppgiftsberoende modeller över olika stimuli. Figur 6 visar noggrannheten hos SSHMMs och de uppifrån-och-ned-modellerna genom att sluta sig till tittarens uppgift i fråga om antalet korrekt klassificerade fall av en uppgift. Varje stång sammanfattar noggrannheten hos sin motsvarande modell genom att representera medelvärdet (%) tillsammans med dess standardfel i medelvärdet (SEM) genom att på ett korrekt sätt dra slutsatsen om den visuella uppgiften. För varje bar körde vi en 10-faldig korsvalidering (Bishop, 2006) på en datauppsättning på 1 080 uppgiftsspecifika ögonbanor för att träna/testa modellen och jämförde prestandan hos modellerna genom att rita deras motsvarande stänger för varje visuell uppgift. Som kan ses SSHMM betydligt överträffar top-down metoden i alla sex fall, och det beror främst på att avslappning overtness uppmärksamhet begränsning som införts i top-down modeller. Resultat I Experiment 1 tillämpade vi framgångsrikt idén att använda HMMs för att härleda den pågående uppgiften i en enkel visuell sökning där målen skilde sig från omgivande distraktorer genom en unik visuell funktion, såsom färg, orientering, storlek eller form, och kunde placeras i en stimulans inom en kort tidsperiod. Men i verkliga livet stöter vi vanligtvis på situationer där målet är omgivet av distraherare med liknande egenskaper och kan särskiljas från dem endast genom att jämföra en kombination av visuella egenskaper. I detta experiment utökar vi vår metod till en mer komplicerad grupp av uppgifter och undersöker tillämpligheten av vår HMM-baserade metod i uppgiftsslutsatsen i en svår visuell sökning. Dessutom gjordes Experiment 1 på syntetisk stimuli med en begränsad uppsättning enkla uppgifter, medan vi i detta avsnitt kommer att använda en mer realistisk tillämpning för att utvärdera vår föreslagna modell på ett bredare spektrum av uppgifter. I vårt experiment gjorde vi uppgiften svår genom att göra målen distinkta genom en kombination av funktioner. Svårigheten med uppgiften ökade svarstiden och orsakade flera uppmärksammade utplaceringar på icke-målobjekt (off-mål FOAs) för att undersöka deras uppgift relevanta funktioner och avfärda dem från potentiella mål platser. Dessa off-target FOAs på objekt som inte är direkt relevanta för den pågående uppgiften är inte helt i linje med strukturen i SSHMM-modellen och kommer förmodligen att orsaka en dämpning i noggrannheten av uppgift inference. I detta avsnitt skräddarsyr vi vår modell för att möjliggöra off-mål FOAs i ett svårt sökparadigm. I detta experiment undersöker vi en uppgiftsslutsats i en svår sökuppgift genom att utveckla en applikation med ögontyp, där användare kan skriva en teckensträng genom att rikta blicken mot ett tangentbord på skärmen. I detta scenario kan man dra slutsatsen att uppgiften är likvärdig med att bestämma vilket ord som har varit iögonfallande genom att observera objektets ögonrörelser medan man utför uppgiften; därför finns det ett brett spektrum av potentiella uppgifter. För att tvinga fram visuell sökning randomiserade vi platsen för tecken i tangentbordslayouten i varje försök. Efter varje försök körde vi också en verifieringsfas där en fråga ställs om platsen för en av tecknen i ordet ämnet redan har skrivit för att övervaka riktigheten i processen (se figur 7). I avsnittet Resultat visar vi att SSHMM inte är lika effektiva för att komma fram till en uppgift i en svår sökuppgift. Den största delen av detta underskott beror på de icke-målinriktade FOA som äger rum till följd av den ökade uppgiftssvårigheterna. I de nya modeller som föreslås här lägger vi extra stater till modellen som representerar icke-mål FOAs i banor. Detta ökar utbildningsbördan på grund av införandet av extra parametrar i modellen för de nya staternas observationsmatriser och sannolikheter för statsövergång, men fördelen är tvåfaldig: för det första, vi tillåter icke-mål FOSom både i utbildning och testning; för det andra, övergångsmatrisen blir stokastisk i motsats till de deterministiska, självåtervändande övergångar vi hade i SSHMM. En stokastisk övergångsmatris introducerar en annan informationskälla till modellen genom att fånga mönstret av övergångar mellan staterna. Denna information kan matchas mot testdata för att se hur väl modellen överensstämmer med den. På detta sätt kan vi överväga dynamiken i uppmärksamhet och använda mönster matchning för att lokalisera målen och förutsäga den pågående uppgiften. I det första försöket att modellera den mänskliga generativa modellen av ögonbanor lägger vi till ett annat tillstånd i strukturen på SSHMM. Figur 8 till vänster visar det ändringsförslag som vi gjorde till modellen för att göra den kapabel att hantera icke-målmålen för FOA. Här i varje tillstånd föreslår vi att en blandning av Gaussiska distributioner visar möjligheten att observera olika fixeringsplatser. För måltillståndet postulerar vi att fixeringsplatser är slumpmässiga utfall av en 2-D GMM med lika vikter, vilket är maximum på målkaraktärsplaceringar. Efter att ha definierat 2-D GMM i on-target-tillståndet kan vi helt enkelt definiera pdfen av off-target-tillståndet genom att komplettera distributionsfunktionen hos måltillståndet och normalisera det. Motivet bakom detta är att sannolikheten för att fixera en punkt i närheten av en karaktär vanligtvis är högre än andra platser när vi hittar den som mål. Å andra sidan, ju längre från karaktären vi fixerar, desto mer troligt att vi är på en icke-mål plats. I figur 8 Höger kopierade vi en kopia av alla 2-D observations pdf:er av tecken på ett tangentbord och placerade dem på själva tangentbordet. Förutom att den nya designen tillåter icke-målinriktade FOAs, inkapslar den en annan aspekt av människans uppmärksamhet som granskar uppmärksamhetsdynamiken ur en timlig synvinkel. Sambandet mellan arbetsminne och visuell uppmärksamhet är etablerat i neurofysiologiska och psykofysiologiska studier av mänsklig uppmärksamhet (De Fockert, Rees, Frith, & Lavie, 2001; Lavie, 1995). Det har varit känt att uppmärksamhet interagerar med arbetsminnet och intensiteten i denna interaktion beror på minnet kravet på den pågående uppgiften. I eyet-typing applikationen, efter att ha hittat varje tecken, den kognitiva process som är ansvarig för att driva visuell uppmärksamhet hämtar nästa tecken i ordsträngen från korttidsminnet för att rikta uppmärksamheten mot relevanta funktioner i bilden. Olika variationer i denna interaktion mellan uppmärksamhetssystemet och korttidsminnet kan också ses i de flesta av de visuella sökuppgifterna i den verkliga världen. I ett annat exempel, när en tittare räknar antalet ett objekt i en scen, används interaktionen efter att hitta varje mål för att öka antalet Figur 7. Inställning av ögontyp. Ritningen av tangentbordet på skärmen som användes i experimenten. Vi tog bort en bokstav ("Z") för att ha en fyrkantig layout för att minska riktningsfördomar. Även platsen för varje tecken randomiseras i varje försök så att användaren måste söka efter tecken. (Middle) Ett ämnes ögonrörelser är överlagda på tangentbordslayouten, på vilken rättegången utfördes. Ämnet söker bland tecken för att eye-type ordet ''TWO'. Punkterna indikerar fixeringarna, och deras diametrar ökar när fixerings varaktigheten ökar. Anslutningslinjerna mellan punkterna visar de sakkader som för in den nya fixeringsplatsen i COG. (Rätt) Efter varje test ställs en fråga till användaren om platsen för ett tecken som dök upp i ordet för att validera resultatet. (2013) 13.3 av en i arbetsminnet. Dessutom, som visas i figur 7, efter varje försök en fråga om användaren att kontrollera om tecknen är närvarande korrekt eller inte. När målkaraktären hittas håller därför korttidsminnet reda på teckenkoordinaterna för att korrekt kunna svara på verifieringsfrågan. På grund av de olika neurala kretsar av visuell uppmärksamhet och arbetsminne i hjärnan (GoldmanRakic, 1995), mer interaktion mellan dessa två funktioner kommer att orsaka en längre vistelse på minne krävande objekt. I en nyligen genomförd studie Mills, Van der Stigchel, Hoffman och Dodd (2011) undersökte man arbetets inverkan på ögonrörelsernas tidsmässiga egenskaper under scenens perception. De visade att i visuell sökning, uppgift ställa fördomar rumsliga (t.ex., sakkad amplitud), snarare än temporal (t.ex. latens), parametrar för ögonrörelser. Denna effekt visas också i en studie av Castelhano, Mack, och Henderson (2009), där de undersökte inverkan av uppgiften på fixering varaktighet och inte fann någon signifikant skillnad i genomsnittlig fixering varaktighet när minnet är mer involverade i utförandet av uppgiften. De visade dock att för objekt som kräver mer grundlig bearbetning för att kodas till minne, en strategi antas för att öka antalet, snarare än varaktighet, av fixeringar på dem. Denna slutsats stöds också av en tidigare studie av Loftus (1972) som visade att en ökad interaktion mellan uppmärksamhet och minne inte påverkar fixeringens varaktighet, utan snarare ökar antalet fixeringar som görs i regionen. Designen av dubbelstatsordet HMM (DSWHMM) gör det möjligt för oss att utnyttja detta fenomen för att upptäcka ett mönster i minnesinteraktionen och lokalisera målobjekten. I en svår sökuppgift, där graden av minnesengagemang ändras avsevärt under sökningen, när ett mål hittas, stiger graden av interaktion med minnet vilket leder till flera fixeringar på samma objekt. Medan utbildning en uppgiftsberoende modell, alltså, detta mönster återspeglas i övergångsmatrisen, som kommer att visa en skevhet i övergången från on-target tillstånd till sig själv. Denna information, tillsammans med rumslig information inbäddad i observations pdf, kan användas för att lokalisera aktivitet relevanta objekt i en scen och härleda uppgiften baserat på dem. I DSWHMMs visade vi hur vi genom att introducera ett andra tillstånd till SSHMM kan fånga den tidsmässiga dynamiken av visuell uppmärksamhet och samtidigt tillåta icke-mål FOAs. Även om vi i resultat vi visar att DSWHMM är en praktisk metod för uppgift inference i en liten storlek ordbok, är det inte klart vilken del av den erhållna noggrannheten beror på a-priori begränsningar som fastställs av ordboken (noll sannolikhet för icke-existerande ord och lika sannolikheter för de befintliga) och vilken del beror på sannolikheten som tillhandahålls av HMM struktur. Ordbokens storlek spelar en viktig roll för klassificeringen av DSWHMMs. Å ena sidan är den ordmodell som föreslås i DSWHMM okänslig för teckenföljden och kan inte ge oss sannolikheten att rikta uppmärksamheten från ett mål/icke-målobjekt till ett mål/icke-målobjekt i bilden. Till exempel, om en TT ) a TO det innebär att målen är lätta att upptäcka och chanserna för off-målfixeringar är låga och om en TT ) a TO det innebär mål är svåra att upptäcka och hitta dem innebär fixeringar på distraherare. De första tillståndsannolikheterna (P i ji È O, T) ger oss sannolikheten att starta en sökning från var och en av staterna. Till exempel, i det fall att målen är svåra att upptäcka, sannolikheten för att starta sökandet från O-staten (off-target) är högre. (Rätt) I denna siffra sätter vi målstaternas fixeringsplats pdfs av alla tecken tillsammans och lägger dem på det ursprungliga tangentbordet. (2013) 13.3 anagram (ord med samma tecken men olika ordning tecken) isär. Å andra sidan fungerar modellen bäst när ordboken innehåller korta ord. För längre ord, eftersom målet GMMs innehåller fler Gaussians, det område som omfattas av GMMs expanderar till ett större område på tangentbordet, vilket leder till att klassificera de flesta av fixeringar som måltavlor. Således, genom att öka storleken på ordboken, chanserna att ha långa ord eller anagram ökar som kommer att orsaka prestandan att sjunka. Huvudorsaken till detta beroende av ordbokens storlek är det faktum att i ordet modeller behandlas alla tecken lika och alla ingår i modellen av en unik GMM. Detta faktum gör modellen okänslig för den ordning som består av tecken. Dessutom, med långa ord, eftersom GMM av det onmålade tillståndet spänner över en större yta av tangentbordet, off-målfixeringar blir svårare att upptäcka. Den lösning vi föreslår är att tilldela dubbelstats HMM till tecknen snarare än hela ordet. Nämligen föreslår vi att träna 25 tecken modeller (bokstaven ''Z'' utelämnas från tangentbordslayouten) och konkatetera dem enligt ett ord diktamen att bygga varje ord modell i ordboken. På så sätt gör vi inte bara modellen robust efter ordens längd genom att behandla varje karaktär oberoende av förfarandet eller följande tecken, utan vi respekterar också ordningen på de ingående tecknen samtidigt som vi bygger upp ordmodellerna. Därför förväntar vi oss att modellen ska vara mer robust än ordbokens storlek. I figur 9 till vänster visar vi den allmänna strukturen för ett dubbelstatstecken HMM (DSCHMM) för tecknet ''C'. Medan strukturen är densamma som DSWHMMs, är observationsdistributionerna centrerade kring karaktärerna snarare än hela ordet. Likt DSWHMM styr övergångsmatrisen övergångarna mellan icke-mål- och måltillstånden och de initiala statsdistributionerna oddsen för att starta från varje stat. Figur 9 Höger visar hur man konkaterar karaktärsmodellerna för att bygga upp en ordmodell. Eftersom övergången från ett tecken till ett annat är jämförbar med att börja söka efter ett nytt tecken, tilldelar vi motsvarande initialtillståndsannolikhet övergången till varje tillstånd. Modellering av underordsenheter (dvs. tecken), snarare än ord, gör det möjligt för oss att undersöka fixeringarna mer i detalj. I DSCHMM-strukturen klassificerade vi uppmärksamheten i de på målet eller de på icke-måltecken. Vi tror dock att även närvarade icke-målkaraktärer bär information om den sökta karaktären. Figur 10 Vänster visar de 9 översta facken i histogrammet av fixeringar på tecken (fixationsfördelningens histogram) när man letar efter tecknet ''W'. Man kan se att även icke-målfixeringar visar ett mönster i den meningen att till synes liknande karaktärer tenderar att dra uppmärksamheten till sig oftare än olikartade. Detta fenomen studeras i psykologisk litteratur relaterad till perceptuell mätning av bildlikviditet (Keren & Baggen, 1981). Särskilt ligger vårt fynd i linje med ett psykofysiskt experiment i (Gilmore, Hersh, Caramazza, & Griffin, 1979, figur 1 ) som klassificerar stora engelska bokstäver enligt figur 9. DSCHMM:s struktur. (Vänster) visar den allmänna strukturen för DSCHMM för tecken ''C'. Parametrarna a ij och P i definieras exakt samma som i DSWHMM. Den enda skillnaden mellan denna modell och DSWHMM är att i denna modell tränar vi en modell för att söka varje karaktär separat. Således, i måltillståndet kommer vi bara att ha en Gaussian observation pdf runt platsen för karaktären i bilden. Därför, för att bygga en ordmodell måste vi konkatetera de formande tecknen i ordet. (Rätt) Visar hur man konkaterar teckenmodellerna för att bygga upp en ordmodell (här för ett hypotetiskt ord ''CA''). I denna modell (x C, y C ) och (x A, y A ) är koordinaterna för tecken ''C' och ''A' respektive. För övergångarna mellan del HMMs (för varje tecken), använder vi den ursprungliga tillståndsannolikheterna P i, eftersom letar efter nästa tecken efter att ha hittat den pågående en är liknande att starta en ny sökning efter den nya karaktären. (2013) Likheten i utseendet. I figur 10 Mitten visas resultatet av denna klassificering i form av ett hierarkiskt kluster som klassificerar karaktärerna i kluster. Ju lägre anslutningslinjen mellan klusteren är, desto högre är likheten mellan dem. I vår databas av ögonrörelser såg vi ett liknande mönster när vi analyserade andra tecken också. Figur 10 Höger visar genomsnittet av topp 9 fixeringsplacering histogram bins när man letar efter olika tecken. Denna trend tyder på att icke-målfixeringar också kan användas som en annan informationskälla. Nämligen, när du letar efter ett mål, liknande tecken är mer sannolikt att hittas bland off-målfixeringar, vilket kan hjälpa oss att begränsa våra val i inference processen. Bild 11 Toppen visar den nya struktur som vi föreslår ska användas för uppgiftsslut i ansökan om karaktärsigenkänning. I den här nya installationen delar vi upp det off-target-tillståndet till olika tillstånd (D-state) och liknande tillstånd (S-state) beroende på likheten mellan det besökta objektet och målkaraktären. Vi tror att den nya tri-state HMM (TSHMM) för karaktärsigenkänning gör att vi kan undersöka fixeringarna mer i detalj och ge oss mer information om den eftertraktade karaktären. I denna modell beaktas inte bara dynamiken i ontarget FOAs, utan även offtarget FOAs spelar en viktig roll för att avslöja målkaraktären. Figur 11 Nederst visar hur vi bygger en ordmodell genom att sammanfalla HMMs av de bestående tecknen. Som kan ses, övergångarna mellan tecknen görs från måltillståndet och strukturen liknar DSCHMM, annars. Vi vegetariskt väljer de två översta tecknen i fixeringsfördelningens histogram för varje mål för att modellera GMM i dess S-tillstånd. Distributionsfunktionen av D-staten erhålls genom att komplettera blandningen av mål Gaussian pdf och GMM av Sstate (alla med samma vikt). Liknar DSCHMM, när går från en karaktär till en annan, övergångssannolikheterna antas vara proportionella mot den ursprungliga staten sannolikheter. Journal of Vision För att bygga en databas av uppgiftsberoende ögonbanor, körde vi en uppsättning prövningar och spelade in ögonrörelser av sex McGill doktorander (tre kvinnor och tre män), mellan 18 och 30 år, medan ögontyp 26 olika 3-tecken ord. Försökspersonerna hade normal eller korrigerad syn och alla var naiva om syftet med försöket. Försöken började med ett fixeringsmärke av storlek 0.268 · 0.268 visas i mitten av skärmen. Efter foveating fixering märket, initierade deltagaren rättegången med en nyckel-press. När en rättegång väl hade utlösts, visade ett textmeddelande mitt på skärmen att ordet var ögontypat. När motivet indikerade sin beredskap genom att trycka på en nyckel, dök ett annat fixeringsmärke upp i mitten följt av ett tangentbord på skärmen som liknar det som visas i figur 7 till vänster. Vid denna fas ämnen ögontypade ordet genom att söka efter de tecken som visas i det så snabbt som möjligt och signalerade när de gjordes genom att trycka på en nyckel (ämnen var bara tillsagda att ögontypa orden så snabbt som möjligt och tryck på en nyckel när det är gjort). Varje rättegång följdes av en verifiering där en fråga, i form av ett påtvingat valparadigm, om platsen för en slumpmässigt utvald karaktär i ordet ställdes. Det markerade tecknet visades som etikett på två tangenter i tangentbordet, av vilka endast en motsvarade den ursprungliga platsen för tecknet i tangentbordslayouten (se figur 7 till höger). Tittaren valde en av tangenterna som rätt plats för tecknet genom att fixera det och trycka på en knapp. I databehandlingsfasen tog vi resultatet av frågan som en indikation på huruvida försökspersonerna hade utfört uppgiften uppmärksamt eller inte. När frågan hade besvarats visades nästa ord och rättegången fortsatte. Varje tangentbord bestod av 25 stora engelska tecken slumpmässigt placerade på en 5 · 5 rutnät ovanpå en grå bakgrund (vi tog bort bokstaven ''Z'' för att ha en fyrkantig layout för att minska riktningsfördel). De trebokstavsorden valdes så att det inte fanns någon upprepning av tecken i dem. I början av varje experimenttillfälle kalibrerade vi ögonspåraren genom att låta deltagaren titta på en 16-punkts kalibreringsdisplay (4 · 4) som utökades till 108 · 108 av visuell vinkel. Det område som täcks av kalibreringsnätet sträckte sig bortom stimuli, som spänner 6,78 · 6,78 av visuell vinkel. En ögonspårare (ISCAN RK-726PCI) användes för att registrera deltagarens vänstra ögonpositioner vid 60 Hz och ett hakstöd användes för att minimera huvudrörelser. Enligt tillverkarens produktbeskrivning (ISCAN, version 1.1.01) är ögonspårarens upplösning ungefär 0,38 över 6208 horisontellt och vertikalt område med hjälp av skillnaden mellan pupillen/hörselreflektionen (den faktiska noggrannheten är sannolikt sämre). En LCD-skärm användes för att visa bilderna och försökspersonerna använde båda ögonen för att utföra experimenten. Efter inspelningen av ögonrörelser utfördes dataanalys på varje försök där vi tog bort blinkningar, avvikelser och prövningar med felaktiga svar i verifieringsfasen från data och klassificerade ögonrörelsedata till sakkader och fixeringar med hjälp av metoden för hastighetströskelidentifiering (I-VT) (Erkelens & Vogels, 1995) med en tröskel på 508/s. Av samma anledning som i Experiment 1, i vår analys betraktade vi endast fixeringspunkterna och avlägsnade ögonpositionerna mellan fixeringarna. Dessutom, i några av de första försöken, efter att ha tittat på ordet, tittaren återvände till platserna för tecken för att dubbelkolla koordinaterna för dem. För att simulera en riktig iögonfallande applikation tog vi också bort dessa delar från banorna i förbehandlingen. Efter förbehandlingen fick vi en databas med 145 banor {Q 1, Q 2,. ., Q 145 }, var och en av formen (q 1,q 2,....,q T ), där varjeq i innehåller koordinater och varaktigheten av fixeringen vid tiden i, i form av en tuple (x i, y i, d i ). Varje tuple ger oss information om x-koordinaten, y-koordinaten, och varaktigheten av i th fixering, respektive. För att träna modellerna i DSWHMM, DSCHMM och TSHMM, måste vi justera medelvektorn för 2-D Gaussians enligt träningsordet så att den anpassar sig till mitten av mål karaktär platser. Enligt Rabiner (1990) är en enhetlig (eller slumpmässig) första uppskattning av P och A tillräcklig för att ge användbar omvärdering av dessa parametrar (med förbehåll för de stokastiska och icke-nollvärdesbegränsningarna). Således, i den generiska HMM, sätter vi slumpmässiga initialvärden för övergången och de initiala tillståndsannolikheterna och kör Baum-Welch algoritmen på utbildningen som för att få den slutliga modellen. Återigen använde vi parameterbindning teknik (Rabiner, 1990) för att tvinga en unik, uppgift och stimuli oberoende kovariance matris över alla Gaussiska distributioner i blandningarna. Således kan vi bygga ordet modell för testdata genom att dynamiskt ändra medel av tillstånden enligt tecken platser av orden och med hjälp av den uppskattade covariances av tecken. Den resulterande HMM används för att uppskatta sannolikhetsbegreppet för ekvation 5 för alla ord i ordboken genom att använda framåtmetoden på den utbildade modellen. Genom att uppskatta sannolikhetsbegreppet kan vi beräkna den bakre sannolikheten för varje ord genom att koppla in sannolikhetsbegreppet i ekvation 5. I detta fall kommer a-priori-termen att vara vår förkunskap om orden och Q är observationssekvensen som innehåller fixeringsplatserna. I det första försöket att dra slutsatsen uppgiften i den svåra sökningen, jämför vi resultaten av att använda topdown-, SSHMM- och DSWHMM-modeller för uppgiftsslut och visa resultaten tillsammans i Figur 12. Vi kan se att även om SSHMM presterar något bättre än top-down tekniken, minskar noggrannheten betydligt jämfört med resultaten av uppgift inference i den enkla sökningen. Den högra raden visar resultatet av uppgiftsslut när du använder DSWHMM. Varje stång sammanfattar noggrannheten hos sin motsvarande modell genom att representera medelvärdet (%) tillsammans med dess SEM genom att korrekt dra slutsatsen om den visuella uppgiften. För varje bar körde vi en 10-faldig korsvalidering på vår databas av 145 banor för att definiera träning och testuppsättningar och använde samma epoker över alla metoder. Vi använde också lika sannolikheter som ordet tidigare, som konverterar ekvation 5 till en ML uppskattning. Som kan ses, DSWHMM betydligt överträffar SSHMM och top-down metoder. Uppskattningen av parametrar efter träning visas i tabell 1. Ett mycket intressant fenomen som ses i träningsresultaten är standardavvikelsen (SD) av Gaussiska fördelningar runt tecknen (r 2D ), som expanderar till ett område på cirka 3,68 av den visuella vinkeln. Denna vinkel förefaller överensstämma med tidigare uppskattningar av storleken på den operativa fovean som visionens centrala 38 (Johansson, Westling, Bäckström, & Flanagan, 2001). Dessutom, i (Carpenter, 1991) det visas att mål inom 48 centrala vision fortfarande uppfattas på 50% av maximal skärpa. Även om vi, baserat på de aktuella bevisen, inte kan avgöra om detta fynd är en verklig effekt eller bara en tillfällighet, kan ett annat experiment där avståndet mellan observatören och skärmen ändras hjälpa oss att avgöra detta. I detta experiment studerar vi också vilken effekt ordlistans storlek har på exaktheten i uppgiftens inferens i den svåra uppgiften. Vi testar noggrannheten av uppgift inference med hjälp av DSWHMM, DSCHMM, och TSHMM för olika ordboksstorlekar. Vi skapade fyra uppsättningar ordböcker av 26, 52, 104 och 312 engelska ord med hjälp av Carnegie Mellon pronomening ordbok (CMPD) (Weide, 2005). Alla ordböcker byggdes så att de alla har de ursprungliga 26 orden och inkluderar alla orden i de mindre ordböckerna. Orden valdes slumpmässigt ur CMPD och ordens längd varierade mellan tre till fem tecken. I alla HMMs, vi bundna kovariances till en unik diagonal kovariance matris och erhöll variansen, övergångsmatrisen, initiala tillståndsfördelning och medelvektorer från träningssetet. Vi använde 10-faldig korsvalidering för att ställa in träningssetet och testsetet på databasen över ögonrörelser. För DSCHMM och TSHMM byggde vi ordmodellerna enligt mallarna i figurerna 9 till höger respektive 11 nederst. I TSHMM representerade de tecken som valts i S-tillståndet de två översta behållarna i histogrammet för fastsättningsfördelningen av målkaraktären som erhölls i träningsfasen. Liknar figur 10, fixeringsfördelningen histogram skapades genom att räkna antalet fixeringar på varje karaktär (med hjälp av närmaste granne) när man söker ett mål. För att göra det har vi manuellt märkt alla 145 ögonbanor och delat upp dem i tre delar, som var och en representerar motivets ögonrörelser samtidigt som man letar efter en karaktär. Distributionsfunktionen för D-staten erhålls genom att komplettera blandningen av Gaussian pdf och GMM i S-staten (alla med samma vikt). Figur 13 visar exaktheten hos ordslut med hjälp av DSWHMM-, DSCHMM- och TSHMM-metoder som sträcker sig över fyra ordboksstorlekar. Även om noggrannheten i DSCHMM är något mindre än den för DSWHMM (74.2% vs 76,4%) för 26-ord fallet, visar det mindre nedgång när ordbokens storlek ökar. Som väntat startar TSHMM ännu bättre än DSWHMM och håller sig inom samma intervall i olika lexikonstorlekar. Tabellen nedan visar noggrannheten och SEM för motsvarande stapel. Vi tillämpade vår modell baserad på teorin om Hidden Markov Models (HMMs) på två uppgifter för enkel och svår sökning. För den enkla sökningen av Experiment 1, tillämpningen av en enstate HMM (SSHMM) med blandning av Gaussian observation distribution funktioner gav oss goda resultat i uppgift inference. Experiment 2 visade dock att SSHMM inte är lika effektiva när det gäller att dra slutsatser om mer komplexa uppgifter på grund av att uppmärksamheten ofta sprids utanför målet. Baserat på litteraturen relaterad till effekten av uppgiften på ögonrörelser vet vi att komplexa uppgifter medför mönster på övergångar snarare än att ändra de aggregerade måtten på ögonrörelser. Till exempel Mills et al. (2011) visade att även om den genomsnittliga varaktigheten av fixeringar eller genomsnittliga fixering amplituder förblir oförändrad för olika uppgifter, ökar chanserna att omfixera ett mål för ett mål som är informativt för den pågående uppgiften. Samma effekt visas i Castelhano et al. (2009), där det visas att den visuella uppgiften inte påverkar de funktioner som erhålls från enskilda fixeringar, utan snarare är det mönstret av fixeringar som förändras över uppgifterna. I den nya modellen, tillsammans med den rumsliga informationen för 2-D Gaussian mixing models (GMMs), använde vi övergångsmönster information för att få information om uppgiften. Genom att införa ett andra tillstånd, dubbel-state ordet HMMs (DSWHMMs) kunde fånga övergångsdynamiken av ögonrörelsedata och använda självåtervändande övergångar som ett tecken på interaktionsintensitet med korttidsminne, som i sin tur användes som en indikation på huruvida fokus för uppmärksamhet (FOA) är på mål eller icke-målobjekt. I ett annat försök försökte vi minska den a-prioriterade begränsningen som sätts genom att använda en liten storlek ordbok i DSWHMM. För att göra det, föreslog vi att modellera den uppmärksamhet kognitiva processen som driver ögonrörelser för att söka tecken som mål snarare än ordet i helhet. På så sätt kunde vi inte bara respektera teckenordningen i ett ord, utan också tillåta längre ord i ordboken. Resultaten visade att modellering tecken med hjälp av en dubbel-state tecken HMM (DSCHMM) ökar konsekvensen av ord inference över olika ordbok storlekar, medan DSWHMM visade sig vara känslig för ordboken storlek. I den sista modellen föreslog vi att även utanför mål FOAs visar ett specifikt mönster med tanke på målet. Nämligen, vi fick reda på att i en visuell sökning efter en karaktär, uppmärksamhet tenderar att landa på tecken som liknar målet för att begränsa potentiella platser för målet. Därför föreslog vi att man skulle dela upp icke-måltillståndet till två separata stater som representerar FOA på liknande och olika karaktärer som målet. Resultaten visade att inte bara tri-state HMM (TSHMM) robust till storleken på ordboken, men också att den ytterligare information som hämtas från off-målfixeringar hjälper oss att bättre dra slutsatsen uppgiften. I allmänhet använde vi SSHMMs för att modellera den dolda uppmärksamheten i den enkla visuella sökningen där fixeringarna främst finns på målen. I den dubbla staten HMMs (DSHMMs) visade vi hur vi kan fånga den timliga dynamiken av mänsklig uppmärksamhet och samtidigt tillåta off-target utplacering av uppmärksamhet samtidigt behålla stödet för dold uppmärksamhet, ärvt från SSHMMs, genom att införa en andra stat till HMM struktur. Två varianter av DSHMM användes för att dra slutsatsen om uppgiften i sin helhet (DSWHMM) eller delvis (DSCHMM). I TSHMMs drog vi nytta av den information som fanns gömd i offtarget FOAs genom att introducera ett tredje tillstånd till modellen. Sammantaget stödde resultaten idén om uppmärksamhetsmodellering med hjälp av HMM och föreslog en solid probabilistisk ram för att dra slutsatser om uppgifter. Vi anser att det finns flera orsaker till våra förbättrade resultat jämfört med resultaten i Greene et al. (2011)............................................................................................. I Greenes experiment användes endast aggregerade egenskaper hos ögonrörelser, såsom antalet fixeringar, fixerings varaktighet, etc., för att klassificera banorna. Dessa särdrag har dock tidigare visat (t.ex. Castelhano, Henderson m.fl., 2008) att de inte är tillförlitliga när det gäller att dra slutsatser om uppgifter och kan därför inte användas för att reglera problemets osannolika karaktär. En annan orsak till misslyckandet med den aggregatbaserade metoden att dra slutsatsen om uppgiften är att ingen information om bilden används i klassificeringar. Detta är medan det finns en välstuderad relation mellan dessa två och bilden sammanhang har visat sig ha en stor inverkan på ögonrörelser (Torralba, Oliva, Castelhano, & Henderson, 2006). Syftet med detta papper var att härleda den visuella uppgiften baserad på inspelningarna av fixeringar gjorda på en bild och inte att härleda FOA. Detta kan särskilt noteras i det första experimentet, där alla fixeringar antas vara på mål, medan i verkliga ord situation utanför målfixeringar, även för enkla uppgifter, är oundvikliga. Men i Experiment 2 kommer modellens dolda tillstånd intuitivt närmare vår förväntan på FOA. Till exempel, i Experiment 2 staterna är dedikerade till on-target och off-target fixeringar, som kan antas säkert hända i FOA banor under en uppgift utförande. I experiment 2 bryter vi vidare ned de icke-målfixeringar till de på liknande och olikartade mål, som visas vara i linje med de experimentella resultaten av (Gilmore et al., 1979) som visas i figur 10. Således kan den maximala a-posteriori (MAP) uppskattningen av den dolda tillståndssekvensen ges en ögonbana (som kan erhållas med Viterbi metoden) användas som en uppskattning av de möjliga målen för den visuella uppmärksamheten för en given uppgift. Med detta sagt, om vi skulle exakt jämföra de dolda tillstånden i våra modeller med fokus på uppmärksamhet, skulle vi behöva använda metoder som uppmärksamhetsprob, detektion microsaccades (Hafed & Clark, 2002) eller funktionell magnetisk resonanstomografi (fMRI) inspelning (Wojciulik, Kanwisher, & Driver, 1998), för att lokalisera FOA och mäta korrelationen mellan deras uppskattning och centroids av HMM stater. I alla experiment använde vi lika sannolikheter som uppgiften tidigare för de befintliga orden i ordboken, vilket resulterar i en maximal sannolikhet (ML) uppskattning. Inom den föreslagna ramen kan vi dock förena andra informationskällor om uppgifterna som tidigare och öka resultatens exakthet. Även om de resultat som presenteras i detta betänkande är mycket lovande, skulle ytterligare undersökningar kunna utvidga idén till naturscener och mer realistiska situationer som Yarbus. De modeller som föreslogs i både den enkla och den svåra visuella sökningen var dock allmänna och oberoende av tillämpningarna. Därför tror vi att med en databas över ögonrörelser i naturliga scener, kan vi tillämpa modellerna för uppgift inference. Även om fixeringsplats och deras övergångsmönster är bra parametrar för att skilja mellan mål- och målfixeringar, bör även andra parametrar (modaliteter) för ögonrörelser, såsom blinkningsfrekvens, pupilldiameter (Privitera, Renninger, Carney, Klein, & Aguilar, 2010) och sakkad amplitud, utvärderas. I den här artikeln presenterade vi ett probabilistiskt ramverk för uppgiftsinferens i visuell sökning. Detta är användbart i applikationer där kännedom om målobjekt i en scen kan hjälpa oss att förbättra användarupplevelsen i interaktion med ett gränssnitt. Att till exempel veta vad användaren söker på en webbsida i kombination med en dynamisk design kan leda till en smart webbsida som belyser relevant information på en sida enligt den pågående visuella uppgiften. Samma idé gäller för ett intelligent tecken som ändrar dess innehåll för att visa relevanta annonser enligt foci av uppmärksamhet som härleds från varje tittares ögonrörelser. Vi visade att teorin om HMMs ger en tillförlitlig modell för den uppmärksamhet kognitiva processen i den mänskliga hjärnan. I synnerhet observationsgenerationen av HMM är fullt förenlig med fenomenet dold uppmärksamhet. I Experiment 1 utvecklade vi en HMM-baserad metod för att härleda den visuella uppgiften i en enkel sökuppgift. För att visa fördelen med att använda observationstätheterna degenererade vi HMM:s struktur till en enda stat (SSHMM) som, i likhet med de uppifrån-och-ned-modellerna, antar att fixeringarna främst är på mål. Resultaten betonar vikten av observationstätheter i uppmärksamhetsmodellering som möjliggör dold uppmärksamhet och andra källor till diskrepansen mellan COG och FOA. I Experiment 2 utökade vi den föreslagna modellen till en mer sofistikerad modell som kunde dra slutsatsen den visuella uppgiften i svåra sökuppgifter också. I DSWHMM introducerade vi en annan stat till SSHMM för att möjliggöra icke-målfixeringar tillsammans med de på mål. Genom att introducera det nya tillståndet kunde vi förbättra resultaten genom att fånga den dynamik av uppmärksamhet som gäller för de resulterande ögonrörelserna under övergångar mellan mål- och målfixeringar. Samma struktur testades för att härleda deluppgifterna snarare än hela uppgiften, där vi delade upp en uppgift till dess grundläggande element och drog slutsatsen deluppgifterna med hjälp av DSCHMM. Detta gav oss en möjlighet att utöka storleken på testordlistan med giltiga ord och känna igen de nya posterna baserat på deras bestående tecken. Dessutom ledde denna modell till en tredje modell som inte bara tar fram information från målfixeringar utan också betraktar icke-målfixeringar som gjorts under genomförandet av varje deluppgift som en informationskälla och begränsar målkaraktären på grundval av de pågående icke-målfixeringar. Därför lade vi till en annan stat till DSCHMM och bildade en TSHMM för att skilja mellan de icke-målfixeringar som gjordes på liknande-till-mål eller olikartade-till-målobjekt i en scen och ytterligare förbättra resultaten av uppgiften inference baserat på denna information.
Haji-Abolhassani m.fl. REF modellerade ögontrajectories som en bullrig generativ process centrerad på foci av uppmärksamhet riktad av kognitiva processer med hjälp av dolda Markov modeller.
A computational model for task inference in visual search.
{'venue': 'Journal of vision', 'journal': 'Journal of vision', 'mag_field_of_study': ['Psychology', 'Medicine']}