Visuell röra gäller designers av användargränssnitt och informationsvisualiseringar. Detta bör inte förvåna visuell perception forskare eftersom överskott och / eller deorganiserade display objekt kan orsaka trängsel, maskering, minskad igenkänning prestanda på grund av ocklusion, större svårigheter att både segmentera en scen och utföra visuell sökning, och så vidare. Med tanke på ett tillförlitligt mått på den visuella röran i en display, kan designers optimera visningsröran. Dessutom kan ett mått på visuell rörmokeri hjälpa generalisera modeller som Guidad sökning (J. M. Wolfe, 1994) genom att ge en ersättning för "set size" lättare att beräkna på mer komplexa och naturliga bilder. I den här artikeln presenterar och testar vi flera mått av visuellt skräp, som fungerar på godtyckliga bilder som indata. Den första är en ny version av Feature Congestion mått av visuell röra presenteras i R. Rosenholtz, Y. Li, S. Mansfield, och Z. Jin (2005). Denna Feature Congestion mått av visuell röran är baserad på analogin att ju mer rörigt en display eller scen är, desto svårare skulle det vara att lägga till en ny post som tillförlitligt skulle dra uppmärksamhet. Ett andra mått på visuell rörmokeri, Subband Entropy, bygger på uppfattningen att röran är relaterad till den visuella informationen i displayen. Slutligen testar vi ett tredje mått, Edge Density, som används av M. L. Mack och A. Oliva (2004) som ett mått på subjektiv visuell komplexitet. Vi undersöker användningen av dessa åtgärder som stand-ins för uppsättning storlek i visuella sökmodeller och visar att de korrelerar väl med sökprestanda i komplexa bilder. Detta inkluderar sökning-in-clutter displayer av J. M. Wolfe, A. Oliva, T. S. Horowitz, S. Butcher, och A. Bompas (2002) och Bravo och Farid (2004), samt nya sök experiment. Ett ytterligare experiment tyder på att färgvariation, som redovisas av Feature Congestion men inte Edge Density mäter eller Subband Entropy mäter, spelar roll för visuell röran. Nyckelord: skräp, visuell sökning, set size, Feature Congestion, Subband Entropy Citation: Rosenholtz, R., Li, Y., & Nakano, L. (2007). Mäter visuell röra. Tidningen för visionen, 7.2.17, 1-22, http://journalofvision.org/7/2/17/, doi:10.1167/7.2.17. Clutter är ett viktigt fenomen i våra liv och en viktig hänsyn i designen av användargränssnitt och informationsvisualiseringar. Det kan störa sökandet efter ett viktigt objekt, till exempel ett hot i ett bagage röntgen, ett dokument på vårt skrivbord, eller ett fordon eller fotgängare under körning. Clutter kan störa snabbt och veridiskt samla visuell information och fatta beslut. Vi saknar dock en klar förståelse för vad skräp är, vilka egenskaper, attribut och faktorer som är relevanta, varför det utgör ett problem och hur man identifierar det. I praktiska tillämpningar skulle ett beräkningsmått på skräp kunna vara till hjälp antingen genom att göra det möjligt att optimera nivån av skräp i displayer som vi har kontroll över eller genom att tillhandahålla systemvarningar när skräp kan försämra uppgiftens prestanda, t.ex. när vägskräp kan försämra körprestandan. Dessutom skulle ett mått av visuellt skräp också vara användbart för grundforskning inom visuell sökning. De flesta visuella sökning forskning har använt enkla displayer som visas i Figur 1A. Forskare som är intresserade av att söka efter mer komplexa, naturalistiska displayer behöver dock kunna utföra experiment på bilder mer som i figur 1B och generalisera modeller för visuell sökning till sådana bilder. Detta medför många svårigheter. Forskarna har börjat ta itu med några av dessa svårigheter, till exempel genom att generalisera modeller av visuell styrka till mer komplexa bilder (Itti, Koch, & Niebur, 1998; och genom att utforska inflytandet av top-down information i mer naturliga uppgifter och bilder (Torralba, Oliva, Castelhano, & Henderson, 2006). En av de återstående svårigheterna med att generalisera modeller till mer komplexa och naturliga bilder handlar om begreppet "set size", det vill säga antalet "objekt" i displayen. Forskning om visuell sökning har fokuserat en hel del på reaktionstid (RT) kontra set-size funktioner som ett mått på söksvårigheter, och ange storlek står för en betydande andel av variansen i enkla sökexperiment. Dessutom använder modeller som Wolfes (1994) Guidad sökning visningsstorleken för att ställa in ett kriterium för när man ska sluta leta när observatören inte har hittat målet. Men även i komplexa displayer som genereras av försökspersonen, är den inställda storleken på displayen ofta oklar. I kartan som visas i figur 2, är en bergskedja ett objekt eller flera objekt? Är en enda regndroppe ett föremål? Vad är konturen av en stat? I naturliga bilder, där försökspersonen inte styr displayen, blir det extremt svårt att bestämma antalet objekt i displayen även med tanke på en rimlig definition av vad som utgör en "punkt". Vi föreslår att visuell sökning forskning kräver, för komplexa bilder, ett koncept av visuell rörmokeri som en stand-in för standardbegreppet uppsättning storlek. I följande avsnitt diskuterar vi vad man kan önska sig av ett mått av skräp. Sedan föreslår vi en bred operativ definition, följt av mer specifika kandidatdefinitioner, som kommer att göra det möjligt för oss att få fram flera mått på röran i en display. En sådan åtgärd, Feature Congestion-måttet på skräp, använder sig av omfattande modellering av vad som gör objekt i en display visuellt framträdande. En annan är baserad på föreställningen att visuell röran är relaterad till mängden visuell information i en display. Slutligen testar vi Edge Density mått på skräp, som föreslagits av Mack och Oliva (2004), som ett mått på subjektiv bild komplexitet. I allmänhet korrelerar dessa röriga åtgärder väl med påverkan av en komplex bakgrund på sökprestanda både i tidigare sökresultat från andra forskare och i våra egna experiment. Visuell sökning är en vanlig subtask i många verkliga visuella uppgifter. En användare måste hitta knappar eller andra komponenter i ett användargränssnitt. Ett varningssystem måste uppmärksamma en relevant del av en display så att användaren lätt kan hitta den. Förståelse informationsvisualiseringar har också en betydande visuell sökkomponent. Genom att ha en förståelse för hur rörigt skräp spelar en roll i visuell sökning tar vi ett viktigt steg mot att förstå röran i många verkliga visuella uppgifter. Clutter som en stand-in för inställd storlek Genom att ersätta ett begrepp av skräp för en av inställda storlek, vill vi inte bara försöka räkna antalet objekt i mer komplexa displayer. För det första är detta för närvarande orealistiskt, med tanke på tillståndet för datorseende algoritmer. Som nämndes i föregående avsnitt är posterna dessutom dåligt definierade. Vad är ett föremål i en naturlig scen som den i Figur 1B: Är det en person? En tröja? En kopp i en hög med koppar? En gren på ett träd? Dessutom har Bravo och Farid (2004) hävdat att objekt inte ens är en enhet av relevans, vilket i stället tyder på att antalet "delar" är mer relevant för sökresultat. I analogi med begreppet bestämd storlek bör vi inte förvänta oss att ett mått av skräp i sig ska förutsäga sökresultat. I standard RT kontra set-size prestandakurvor, som i figur 3, inställda storlek interagerar med något som mål-distraktor discriminability för att avgöra söksvårigheter. (Här kan vi inte mena diskriminabilitet i mål-distraktor i exakt den bemärkelsen av tröskel i en enda punkt diskriminabilitet experiment eftersom vi kan behöva ta hänsyn till större sökineffektivitet i rumslig-konfigurering eller samtidiga söksituationer, som kanske inte helt fångas av traditionell diskriminabilitet. Vi använder termen "diskriminabilitet" här mer löst.) I en enkel bild av visuell sökning, måldistraktor discriminability bestämmer vilken kurva beskriver sökprestanda. Ställ in storlek bestämmer i huvudsak var en stimulans ligger på en viss prestandakurva; det vill säga, det bestämmer x-värdet. Tillsammans förutsäger de två (kurva plus x-värde) prestandan, till exempel RT. På samma sätt förväntar vi oss att röran interagerar med diskriminabilitet för att förutsäga sökprestanda i komplexa bilder. Ytterligare faktorer påverkar också sökningens prestanda. Av särskild betydelse för frågor om skräp och fastställd storlek är effekten av top-down information på visuell sökning. När en kö visar att målet kommer att visas på en delmängd av möjliga platser i en display, RTs är en funktion av den relevanta (cued) snarare än den nominella inställda storleken (Palmer, 1994; Palmer, Ames, & Lindsey, 1993). Egenskaper hos målet kan också ge en delmängd av potentiella objekt som möjliga mål, återigen effektivt minska fastställd storlek. Dessutom har forskare visat att i komplexa naturscener, expertis som förkunskaper om regioner som kan tänkas innehålla ett mål, såsom en fotgängare, kan begränsa ögonrörelser under sökandet till dessa regioner (Torralba et al., 2006). När vi testar vårt mått av visuellt skräp föreslår vi att vi initialt minimerar dessa top-down-effekter genom att fokusera på att söka efter kategoriska mål i situationer som minimerar förkunskaper om sannolika målplatser. (Om man försökte avgöra om inställd storlek är relevant för sökprestanda, skulle man inte först utföra experiment där relevant instorlek är okänd och skiljde sig från nominell indelad storlek.) När vi har förtroende för ett mått av visuellt skräp, en sådan åtgärd kan hjälpa oss att bättre utvärdera experimentella resultat med mer komplexa stimuli och sökuppgifter, inklusive de med betydande top-down komponenter. Våra mål för den här artikeln är att härleda, genomföra och testa flera inledande åtgärder av visuell rörmokeri. Dessa åtgärder bör kunna fungera på godtyckliga bilder, snarare än att kräva en lista över objekten i displayen och deras egenskaper (t.ex. "grönt träd på plats (5, 2.6)"). Åtgärderna bör uppträda förnuftigt på vanliga enkla psykofysiska uppvisningar. Dessutom bör de korrelera väl med prestanda i sökexperiment, åtminstone när en (ungefär) kontroller för mål-distraktor discriminability och när sådana experiment har en minimal uppifrån-och-ned-komponent till den visuella sökuppgiften. Ingen av kandidaten rör sig explicit med objekt, men de kommer att vara en funktion av antalet objekt i displayen, liksom av deras utseende och organisation. Dessutom kan åtgärderna tillämpas på alla statiska displayer eftersom de tar en bild som indata och inte kräver en lista över objekt i displayen. Clutter är det tillstånd i vilket överskott, eller deras representation eller organisation, leder till en försämring av prestanda vid någon uppgift. Överskott och / eller deorganiserade display objekt kan orsaka trängsel (Stuart & Burian, 1962), maskering (Legge & Foley, 1980), minskad objektigenkänning prestanda på grund av ocklusion, och nedsatt visuell sökning prestanda (se Wolfe, 1998, för en översyn). Fler objekt kan också sträcka eller överskrida gränserna för korttidsminne (Miller, 1994). När det gäller korttidsminne verkar den relevanta faktorn inte bara vara antalet objekt, utan deras egenskaper (färg, orientering, etc.).); figur 3. RT kontra set-size (eller skräp) kurvor. Ställ in storlek (clutter) och mål-distraktor diskriminabilitet interagera för att förutsäga prestanda. Mål-distraktor discriminability välja vilken kurva beskriver RT-data; till exempel, en svår funktionssökning kan sätta prestanda på den gröna kurvan. Ställ in storlek (klotter) väljer plats på den här kurvan (cirkel eller triangel), för att förutsäga RT. (2007) 7.2:17, 1-22 Rosenholtz, Li, & Nakano 3 kapacitet för vissa enkla funktioner är högre än för mer komplexa funktioner (Alvarez & Cavanagh, 2004). Ibland leder fler objekt till prestandafördelar. Detta tenderar att inträffa när objekten är låg entropi, vilket innebär att utseendet på ett objekt är lätt förutsäga från sina grannar. Under sådana förhållanden kan det till exempel vara lättare att se en trend i data när det finns ett större antal punkter som bidrar till denna trend eller att lägga märke till en grupp av poster med liknande egenskaper. Med tanke på en konsekvent trend eller grupp av poster, kan fler poster bidra till att upptäcka en avvikelseVan outlier med funktioner eller trend som skiljer sig från gruppen, eller en gräns mellan två olika grupper. Eftersom skräp är ett tillstånd när överskottsposter leder till prestandanedbrytning, helst, bör ett mått på visuellt skräp moduleras av lågentropi förhållanden där ytterligare poster faktiskt kan leda till prestandafördelar. Det bör också fånga de olika fenomen där ytterligare eller deorganiserade objekt försämrar prestanda. Men även om alla dessa fenomen har studerats i stor utsträckning, saknar många lämpliga modeller. Det finns ett antal modeller för visuell sökning, och i nästa avsnitt föreslår vi först ett mått på visuellt skräp baserat på en sådan modell. När är ett skrivbord rört? Genom att härleda ett mått av visuell röra, överväga en situation där man vill lämna en not på en kollegas skrivbord, med förhoppningen att den kommer att dra uppmärksamhet och kollegan kommer att agera på den. Om kollegans skrivbord är oklämt, verkar det lätt att placera en lapp så att man är säker på att kollegan kommer att märka det. Om kollegans skrivbord är nedsmutsat kan man inte vara säker på att dra till sig uppmärksamhet, och ofta lämnar man en lapp på en obesudlad stol istället för på skrivbordet. Denna analogi tyder på att nivån av visuell röran i en display eller scen är relaterad till lättheten att lägga till en uppmärksamhet-ritning mål till den displayen eller scenen. Men att förutsäga, med tanke på en bakgrundsbild, svårigheten att lägga till en uppmärksamhet-gripande mål är inte en vanlig uppgift för en visuell sökmodell. De flesta sådana modeller är istället konstruerade för att förutsäga hur lätt det är att söka efter ett visst mål bland vissa distraherare och skulle behöva köras iterativt för att förutsäga svårigheten att lägga till ett objekt som skulle dra uppmärksamheten. Lyckligtvis, en av författarna (Rosenholtz, 1999 (Rosenholtz,, 2001a (Rosenholtz,, 2001b har under en tid nu utvecklat den statistiska Saliency modellen. Rosenholtz modell försöker fånga mänskliga prestanda på en funktionell snarare än biologisk nivå, med hjälp av föreställningen att det visuella systemet är utformat för att karakterisera olika statistiska aspekter av den visuella displayen. Detta statistiska ramverk leder till enklare intuitioner för varför ett mål i en display är eller inte är framträdande och kan föreslå funktioner för ett framträdande mål eller förutsäga hur lätt det är att välja funktioner för att skapa ett framträdande mål. Dessutom har denna modell nyligen genomförts så att den kan köras på godtyckliga bilder. I följande underavsnitt beskriver vi den statistiska Saliency-modellen för visuell sökning och visar hur den kan förutsäga den lätthet med vilken man kan lägga till ett uppmärksamhetstagande mål till en display. Sedan kommer vi att utveckla vårt mått av visuellt skräp och beskriva dess genomförande. Rosenholtz börjar med antagandet att det visuella systemet har ett intresse av att upptäcka "ovanliga" objekt. Hon föreslår att ett objekt är ovanligt och därför framträdande om dess funktioner är avvikande från den lokala fördelningen av funktioner i displayen. Efter en lång rad av visuell sökning forskare, dessa funktioner är sannolikt att inkludera sådana saker som kontrast, färg, orientering, och rörelse (se Wolfe, 1998, för en översyn). Rosenholtz föreslår en åtgärd som en z-score för i vilken grad en funktion vektor, T, är en avvikande till den lokala fördelningen av funktionsvektorer, representeras av deras medelvärde, 2 D, och covariance, @ D. Saliens, $, ges av följande ekvation: där ðT j 2 D  påvisar en vektor införliva. Ju högre målet är, desto lättare blir den förutsagda sökningen. Saliency, $, kan ses som en formalisering av Duncan och Humphreys (1989) uppfattning om de olika rollerna mål-distraktor kontra distraktor-distraktor likhet i sökprestanda. Rosenholtz modell förutsäger resultaten av ett brett spektrum av sökexperiment med grundläggande funktioner som de som nämns ovan (Rosenholtz, 1999 (Rosenholtz,, 2001a (Rosenholtz,, 2001b Rosenholtz, Nagy, & Bell, 2004), inklusive experiment som tidigare ansågs innefatta sökasymmetries (Rosenholtz, 2001a). På senare tid har denna modell implementerats för att köra på godtyckliga bilder och visat sig vara prediktiv för ögonrörelsedata. Betrakta den grafiska tolkningen i figur 4. Statistical Saliency Model representerar i huvudsak den lokala fördelningen av funktioner genom en uppsättning covarians ellipsoider i lämplig funktionsutrymme, som visas. Den lokala covarians, @ D, anger storlek, proportion och orientering av covarians ellipsoider. Den innersta, 1A, ellipsoid indikerar funktion vektorer 1 SD bort från den genomsnittliga funktionen vektor, 2 D. Den 2A ellipsoid indikerar funktion vektorer som är 2 SD bort från medelvärdet, och så vidare. Ett mål med en funktion vektor på nA ellipsoid kommer att ha salency $ = n. Ju längre ut målet funktionen Journal of Vision (2007) 7.2:17, 1-22 Rosenholtz, Li, & Nakano 4 vektor ligger på dessa häckade ellipsoider, desto lättare förutsagd sökning. Man kan också använda denna modell för att välja uppmärksamhet rita funktioner för ett objekt i displayen. Om en konstruktör vill lägga till ett objekt till en viss del av displayen, så att hållfastheten hos det objektet är minst d, då några funktioner utanför den lokala dA covariance ellipse kommer att räcka. Den statistiska Saliency Modellen kan indikera svårigheten att lägga till en ny, framträdande objekt till ett lokalt område i en display. Figur 5 visar detta. Figur 5A visar ett antal linjer med identisk orientering och variabel luminans. Figur 5B visar en tecknad av den associerade covarians ellips, antar en (orientering, luminans) funktion utrymme. Displayen i figur 5A har hög varians i luminansriktningen och låg varians i orienteringsriktningen (den enda variansen beror på observationsbuller). Således har ellipsoiden lågt område, och det skulle vara lätt att dra uppmärksamheten till ett mål helt enkelt genom att ge det en betydligt annorlunda inriktning, som visas i figur 5C. Å andra sidan, displayen i Figur 5D har hög varians i både orientering och luminans, som visas av covarians ellips i Figur 5E, som har en relativt hög yta. Det skulle vara svårt att rikta uppmärksamheten på ett mål i denna display med enbart orientering eller luminans som egenskaper. Volymen av den lokala covariance ellipsoid som representeras av @ D ger därför ett mått på den lokala röran i en display, det vill säga svårigheten att lägga till en ny, framträdande objekt till ett lokalt område i en display. Lokalt mäta ellipsoid storlek och poolning över den relevanta visningsområdet ger ett mått på skräp för hela displayen. Vi kallar detta för Feature Congestion mått på visuell röra. Displayer med hög klumpighet, enligt detta mått, är belamrade eftersom funktionsutrymme är redan "översatt" (fylld av covarians ellipsoid), så att det finns lite utrymme för en ny funktion för att dra uppmärksamhet. Alltför många färger, storlekar, former och/eller rörelser kräver redan uppmärksamhet. Vår diskussion leder oss till ett förvånansvärt enkelt mått av skräpVBrotten i en lokal del av en display är relaterad till den lokala variationen i vissa nyckelfunktioner. Implementering av Feature Congestion clutter åtgärd omfattar fyra steg: (1) beräkna lokala funktioner (co)varians på flera skalor och beräkna volymen av den lokala covariance ellipsoid, (2) kombinera skräp över skalan, (3) kombinera skräp över funktionstyper, och (4) poola över utrymme för att få ett enda mått av skräp för varje inmatningsbild. I den aktuella implementeringen använder vi färg, orientering och luminanskontrast som funktioner. Färg, luminanskontrast och orientering har använts för att modellera ett antal perceptuella fenomen, till exempel, mönsterdiskriminabilitet (Watson, 2000) och preattentive textur segmentering (Malik & Perona, 1990). Färgen verkar naturligtvis viktig för vår känsla av skräp. Kontrastenergifunktionsdetektorer är kända för att finnas tidigt i det visuella systemet och kan inte bara upptäcka enkel luminanskontrast utan också fungera som ett mått på storlek och form (se Rosenholtz, 2000, för en granskning av bevis för att sådana detektorer kan förmedla preattentive bearbetning av form i det mänskliga visuella systemet). Framtida implementeringar kan inkludera andra funktioner som tros vara grundläggande funktioner i visuell sökning och uppmärksamhet, till exempel funktioner som föreslagits av arbetet i Treisman och Gelade (1980). Nedan beskriver vi kortfattat vårt genomförande. Se Rosenholtz (2000) för mer information om funktionen covariance skede bearbetning eftersom liknande steg används för att segmentera en bild i regioner av olika texturVa-processen anses ha mycket gemensamt med visuell sökning i den mänskliga hjärnan. Feature Congestion mätning av visuell röran beror på att kunna uppskatta det perceptuella avståndet mellan funktionsvektorer. Därför börjar vi med att omvandla den ingående bilden till den perceptuellt baserade CIELab färgrymden (CIE, 1978). Vi behandlar sedan bilden på flera skalor (för närvarande tre) genom att skapa en Gaussian pyramid genom att växelvis utjämna och subsampling bilden (Burt & Adelson, 1983). Därefter hittar vi funktioner i varje skala. För luminanskontrast beräknar vi en form av "kontrastenergi" genom att filtrera luminansbandet genom ett center-surround filter som bildas från skillnaden mellan två Gaussians och squaring outputs. För färg extraherar vi en lokal medelfärg i varje skala genom att poola med ett Gaussiskt filter. För orientering, beräknar vi orienterad motståndare energi, a la Bergen och Landy (1991), som ger oss en två-vektor, (k cos(2E), k sin(2E)), på varje bild plats och skala, där E är den lokala orienteringen och k är relaterad till i vilken utsträckning det finns en enda stark orientering på den givna skalan och platsen. Sedan, för varje funktion, beräknar vi den lokala (co) variansen för varje funktion. Detta kan göras effektivt, och på ett biologiskt rimligt sätt, genom en kombination av linjär filtrering (i genomsnitt över ett lokalt område) och punktvis icke-linjära operationer (för att beräkna variansen). Från en covariansmatris, är det enkelt att beräkna volymen (arean) av covarians ellipsoid, vårt lokala mått på färg (orientering) har trängsel, det vill säga skräp. Kontrastfunktionen trängsel är helt enkelt kvadratroten av kontrastvariansen. För varje funktion kombinerar vi trängsel över hela skalan genom att ta maximalt vid varje pixel. Vi menar att en funktion är lokalt överbelastad om den är överbelastad i någon skala. Det har inte gjorts mycket för att undersöka samspelet mellan flera skalor för att fastställa målvärde eller påverkan av skräp, och mer grundläggande forskning behöver göras för att få en bättre förståelse för hur information kombineras över skalan. Vid denna punkt har vi tre skräpkartor för bilden, som representerar "färg trängsel", "textur trängsel", och "orientering trängsel." Därefter kombinerar vi färg, kontrast och orientering vid varje punkt. Vi tar först kuben roten av färg skräp (en volym) och kvadratroten av orientering skräp (ett område) för att göra dessa mer jämförbara med kontrastenergi skräp (en skalar). Trots detta är de tre skräpåtgärderna inte lika omfattande. Det verkliga måttet på hur överbelastad ett funktionsutrymme är är hur mycket funktionsutrymme som tas upp av covarians ellipsoid i förhållande till hur mycket funktionsutrymme som är tillgängligt. Därför är det lämpligt att skala röran värdet i varje funktionsdimension med i huvudsak intervallet av möjliga rörmokarvärden för den funktionen. För närvarande approximerar vi det intervallet genom att normalisera genom standardavvikelsen av skräpvärden för en given funktion över ett brett utbud av indatabilder. Vi kombinerar sedan den skalade färg, kontrast och orientering skräp vid varje punkt genom att ta deras summa. En slutlig modell av skräp kommer med största säkerhet att innebära en mer komplicerad kombinationsregel än den som används här. Funktionerna kan till exempel kombineras till en enda stor funktion vektor innan beräkning av kovariansen, som kan föreslås av sökresultat och modellering av Eckstein, Thomas, Palmer och Shimozaki (2000). Vissa funktioner kan ha prioritet framför andra funktioner; till exempel, Callaghan (1989) har föreslagit att färg dominerar över geometrisk form i textur segregation. Mycket grundläggande forskning måste göras för att på ett tillfredsställande sätt modellera samspelet mellan funktioner. I avsaknad av sådan forskning var vårt mål att se hur långt vi kunde gå med en enkel åtgärd. Tidiga försök att tillåta en generell linjär kombination av skräp över funktioner förbättrade inte avsevärt resultatet av denna rörmokeri åtgärd. Kombinera över rymden Slutligen poolar vi över utrymmet för att få ett enda mått av skräp för varje skärm genom att ta det genomsnittliga skräpvärdet över hela bilden. För ett visst antal objekt i en scen kommer scenen att framstå som mindre rörig ju mer "organiserad" den är. Organisation kan inbegripa att gruppera liknande objekt tillsammans; att anpassa dem; och att göra många av objekten till en liknande nyans, luminans, storlek och så vidare. Denna princip är välkänd i litteraturen om decluttering ens hem, och forskning har visat att perceptuell organisation av detta slag påverkar sökprestationer (Treisman, 1982) och andra visuella uppgifter. Graden av organisation av en scen kan tänkas på i vilken utsträckning varje del av scenen är förutsägbar från resten av scenen, eller i fråga om mängden redundans i scenen. Feature-överbelastningsmåttet av skräp fångar detta begrepp av "organisation" i viss utsträckning implicit; genom att titta på funktionen covariance, fångar det i huvudsak något mått av grupperingen genom likhet + närhet i displayen. I den mån en bild innehåller redundans kan den representeras, antingen i hjärnan eller i en dator, med en effektivare kod. Om till exempel en region av bilden bildar en enda homogen grupp, kan den regionen kodas genom att notera gruppens egenskaper och plats i stället för att koda varje punkt inom den regionen. På liknande sätt, om ett antal objekt upprepas regelbundet, kan de effektivt kodas genom att representera objektet och dess upprepningsmönster. Därför, ju mindre rörigt en bild är, desto mer är den överflödig och desto mer effektivt kan den kodas. Vi föreslår ett andra mått av skräp baserat på försök att mäta den effektivitet med vilken bilden kan kodas, samtidigt som man bibehåller den perceptuella bildkvaliteten. För detta ändamål skulle man helst vilja ha en kodare som upptäcker de typer av uppsägningar som utnyttjas av det visuella systemet. Både visuell bearbetning på låg nivå och visuell bearbetning på mellannivå verkar syfta till att fånga uppsägningar i naturliga bilder. Tidig filtrering av V1 mottagliga fält kan ses som att fånga låg nivå uppsägningar i inmatningen. Forskare har föreslagit att ett sätt att uppnå effektiv kodning av naturliga scener är att välja tidig filtrering verksamhet som maximerar sparsam representation och att denna princip leder till mottagliga fält som i V1 (Olshausen & Field, 1996). Midlevel perceptual organisation fångar högre nivå uppsägningar i bilder genom att koda grupperingar, symmetri, och så vidare. Men även om man helst skulle vilja veta hur effektivt man kan koda en bild genom att använda sig av samma slags uppsägningar som det visuella systemet, är detta svårt att göra med tanke på det nuvarande tillståndet av förståelse och modellering av perceptuell organisation och bearbetning på mellannivå. Därför, för våra syften, föreslår vi initialt att använda kodning effektivitet av nuvarande, mycket framgångsrika subband bildkodningsmetoder såsom JPEG 2000. Vår Subband Entropy rörmoker mäter baseras på föreställningen att röran är relaterad till det antal bitar som krävs för subband (våg) bildkodning. En wavelet-kodare bryter först sönder bilden till en uppsättning subband med olika orienteringar och rumsliga frekvenser, vilket är jämförbart med den nedbrytning som sker tidigt i människans vision. Således fångar den några av samma redundans i bilder som tidiga visioner. Vi använder styrbara pyramider som grund för vår Subband Entropy åtgärd (Simoncelli & Freeman, 1995). Ett antal effektiva bildkodare som JPEG och JPEG 2000 följer en subband transform av bilden med entropy kodning. På liknande sätt, i vårt Subband Entropy mått av skräp, vi nästa beräkna Shannon entropy inom varje subband. Shannon entropy definieras som Här, p är sannolikheten fördelning av koefficienter i varje delband och uppskattas genom binning (dvs. kvantisering) subband koefficienter i bin indexeras av i och datorisera en histogram. Denna Shannon entropi fångar i huvudsak bitar som krävs för att koda delbandet, för en given nivå av trohet, som anges av grovheten i bins (kvantisering). Högre trohet, det vill säga finare bins, kräver fler bitar att koda. I våra beräkningar är antalet bins lika med kvadratroten av antalet koefficienter, vilket innebär att band med färre koefficienter också i genomsnitt har färre koefficienter per bin. Detta säger implicit att det är viktigare att troget reproducera lägre frekvenser än höga frekvenser; vid lägre frekvenser har en wavelettransform färre koefficienter, och därmed leder denna strategi till finare fack, fler bitar som krävs, och mer trogen kodning. Klumpmåttet beräknas som summan av dessa subbandsentropier. Algoritmen är följande: 1. Konvertera RGB-avbildningen till CIELab. 2. Utgångspunkten är följande: Krossa luminansen (L) och krominansen (a, b) i vågformade subband med hjälp av en styrbar pyramid. 3. Vad är det som händer? Bin våget koefficienter inom varje delband och beräkna Shannon entropy inom varje delband enligt ekvation 2. Journal of Vision (2007) 7.2.17, 1-22 Rosenholtz, Li, & Nakano 7 4. Summa subbanden entropier för luminansen (L) och för krominanskanalerna (a, b). Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Beräkna en viktad summa av krominans och luminansentropier. Vi använde en viktning på 0,08 för var och en av krominanskanalerna och 0,84 för luminanskanalen. Bildkodare använder vanligtvis färre bitar för krominans än luminanskanaler eftersom krominans inte behöver kodas med så mycket trohet, utan att kompromissa bildkvalitet. Subband Entropy-åtgärden är dock inte särskilt känslig för förändringar i denna viktningVa-krominansviktning på 0,22 till en luminansviktning på 0,56 gav nästan identiska resultat för alla exempel i denna artikel. Det har förekommit flera tidigare försök att kvantifiera något som "klumpen" i en display. Forskare inom området informationsvisualisering har försökt mäta vad de kallar "informationstäthet". I informationsvisualiseringen har man ofta beslut att fatta om hur mycket information som ska presenteras för användaren i en viss display eller del av en display. Förhoppningen har varit att med ett mått på informationstätheten, designers skulle kunna välja den optimala nivån av information att presentera, handel med ge användaren mer information mot att göra det svårare för användaren att snabbt och veridiskt extrahera denna information från displayen. I detta sammanhang experimenterade Woodruff, Landay och Stonebraker (1998) med flera mått på informationstäthet: antalet synliga objekt och antalet hörn. Andra forskare har föreslagit ytterligare åtgärder av informationstäthet eller skräp. Dynamisk Logics studie (2001) om effekten av skräp på effektiviteten av webbannonser använde nummerelementen på en webbsida som ett mått, där ett element bestod av ett ord, grafiskt, eller "intresseområde". Tufte (1983) föreslog antalet poster i källdatamatrisenVthat är, tabellen av data som används för att generera visualiseringVper enhet område. Nickerson (1994) räknade upp ett antal densitetsmått, inklusive antalet grafiska polletter per enhetsområde, antalet vektorer som behövs för att rita visualiseringen, och längden på programmet för att generera visualiseringen. Frank och Timpf (1994) föreslog mängden "ink" per enhet område som ett mått för enkla svarta och vita kartor. Dessa mått har ett antal svårigheter, och få har faktiskt genomförts. Visst, mängden skräp har ett visst beroende av antalet objekt, grafiska polletter, eller poster i källdatamatrisen i displayen. Antalet objekt (eller, omvänt, mängden blanktecken) har visat sig påverka aktivitetsprestanda både vid en katalog assistans sökuppgift (Springer, 1987) och vid ett antal uppgifter med en karta (Phillips & Noyes, 1982). Kolumnanpassning hjälpte dock till i katalogassistansen, och Phillip och Noyes (1982) fann att "likt skräp som"; till exempel, ytterligare rader på en karta orsakar ökade svårigheter för uppgifter som involverar linjer. Räkna antalet objekt tar inte hänsyn till utseendet eller organisationen av objekten. Bara räkna antalet element på en webbsida visade sig inte vara ett bra mått på skräp i betydelsen av korrelera med reklam effektivitet (Dynamic Logic, 2001), även om mänskliga röror bedömningar gjorde korrelera med reklam effektivitet. Dessutom, som nämnts ovan, för komplexa visualiseringar, antalet objekt kan vara dåligt definierade. En vertex kan vara lika illa definieradVHur skarp en vändning i en kurva krävs? Mängden bläck är odefinierad för färgdisplayer. Förutom dessa svårigheter att tillämpa föreslagna skräpåtgärder när vi får en lista över rita objekt i en visualisering, blir situationen ännu dysterare om man vill mäta röran i en bild, till exempel i en naturlig scen. Oliva, Mack, Shrestha och Peeper (2004) har försökt avgöra vilka faktorer som påverkar den mänskliga representationen av "komplexitet", ett begrepp som tydligt relateras till röran. De hade användare hierarkiskt sortera fotografier efter deras komplexitet och indikerar på varje hierarkisk nivå grunden för sorten. Användare indikerade att komplexiteten berodde på mängden och variationen av objekt, detaljer, och färg, liksom på högre nivå, mer globala begrepp som symmetri, organisation, och "öppenhet" av det avbildade utrymmet. Vår Feature Congestion och Subband Entropy mått av visuell röra, som vi kommer att se, korrelerar med kvantitet och variation av objekt, även om vi inte uttryckligen hittar objekt. Vår Feature Congestion åtgärd innehåller uttryckligen en uppfattning om mångfalden av färg i en bild, och Subband Entropy mäter fångar också detta, eftersom mer färgvariabilitet innebär mindre förutsägbarhet, och därmed mer information = entropi = skräp. Båda åtgärderna kommer underförstått att behandla vissa aspekter av den perceptuella organisationen, såsom gruppering genom en kombination av närhet och likhet. I en senare version av Feature Congestion mäter, vi är intresserade av att införliva några av de högre nivåerna komponenter i perceptual organisation som Oliva et al. föreslår. Mack och Oliva (2004) har genomfört tidiga versioner av flera åtgärder av komplexitet: kvantitet konturer, grad av symmetri, global färgvariation och grad av öppenhet. (Vi hävdar att lokala färgvariationer är lämpligare eftersom det implicit svarar på lokala grupper av färg. Lokal variation har visat sig påverka sökprestandan, t.ex., Nothdurft, 1993.) De jämförde dessa åtgärder med den genomsnittliga subjektiva rankingen av komplexitet på inomhusscener och fann en korrelation av r =.85. KanttäthetVprocenten av pixlar som är kant pixlarValone ledde till en korrelation med medel subjektiva ranking av r =.83. (Observera dock att den genomsnittliga Spearman rank- ordning korrelation mellan ämnen var endast r =.61, jämförbar med vad vi har funnit för subjektiva bedömningar av skräp i kartor; Rosenholtz, Li, Mansfield, & Jin, 2005; r =.70. I den artikeln fann vi en korrelation av r =.77 mellan median subjektiva bedömningar av skräp i kartor och en tidigare version av Feature Congestion skräpmått. Ingen av dessa skillnader i korrelationskoefficienter är signifikant, p 9.05.) Detta höga samband mellan subjektiva bedömningar av komplexitet i inomhusscener och ett så enkelt mått som kanttäthet tyder på att denna enkla åtgärd är värd att undersöka vidare. I det följande undersöker vi också prestandan av ett Edge Density mått på visuell rörmokeri. För att få Kanttäthetsmåttet för varje bild använde vi MATLAB:s Canny edge detektor på varje bild och mätte densiteten hos kantpixlar. Canny edge detektor har flera parametrar: en låg tröskel, hög tröskel, och sigma. Dessa parametrar sattes för hand till värden som gav goda resultat totalt sett till de exempel som presenteras i den här artikeln. Den låga tröskeln och den höga tröskeln används för att hitta svaga och starka kanter, respektive, och Canny edge detektorn håller svaga kanter endast om de är anslutna till starka kanter. Dessa tröskelvärden fastställdes till 0,11 respektive 0,27. Parametern sigma är standardavvikelsen för det Gaussiska filter som används vid beräkning av lutningen. Det var satt till standard, A = 1, jämförbar med den finaste skalan i Feature Congestion och Subband Entropy åtgärder. Vårt mål i denna artikel är att designa och testa flera åtgärder av visuell rörmokeri: Feature Congestion, Subband Entropy (se http://hdl.handle.net/1721.1/37593 där de två rören genomfördes) och Edge Density. Eftersom en stor del av vårt intresse för sådana åtgärder är att ha en stand-in för inställd storlek i modeller för visuell sökning, måste vi testa om dessa åtgärder korrelerar väl med prestanda i visuella sökuppgifter. I synnerhet bör vi hoppas och förvänta oss att de ska utföra väl i uppgifter som omfattar minimal top-down information om utseendet och platsen för målet eftersom sådan information kan leda till motsvarande en "relevant fastställd storlek eller skräp" i motsats till rak uppsättning storlek eller skräp. Inverkan av uppifrån-och-ned-information på visuellt skräp skulle kunna ingå i ett senare genomförande av någon av dessa åtgärder, men ingår inte för närvarande. I Experiment 1 testar vi de tre åtgärderna mot RT i en visuell sökuppgift som innebär att söka efter ett kategorimål i kartbilder och visa att åtgärderna fungerar bra. Reaktionstiderna styrs emellertid av ett antal komplicerade faktorer. I Experiment 2 använder vi istället begränsade visningstider och finner kontrasttrösklar nödvändiga för att korrekt identifiera målet på en given noggrannhetsnivå. Vi visar att röran åtgärder också korrelerar väl med detta mer traditionella psykofysiska mått på prestanda. Därefter visar vi att skräpåtgärderna ger förnuftiga svar på vanliga enkla sökdisplayer. Sedan testar vi dessa åtgärder mot tidigare resultat av sökning i skräp, främst begränsa oss själva igen till de tidigare resultaten med minimala top-down komponenter. Experiment 3 syftar till att skilja mellan dessa åtgärder genom mer noggrant urval av displayer och, i synnerhet, att undersöka om färgvariation är en viktig aspekt av visuell röra. I vårt första experiment undersöker vi påverkan av visuellt skräp, som bestäms av våra olika åtgärder, på RT i ett visuellt sökexperiment. I många visuella sökexperiment söker en observatör efter endast ett mål per "scen", och endast en gång. Även om de studerade lite i människans vision, många verkliga scenarier innebär upprepade sökningar i samma scen för ett antal olika mål. Vi letar efter våra nycklar, sedan våra handskar, sedan vår datorväska, och så vidare. När en observatör endast söker en gång i varje scen, är målet soliditet en nyckelfaktor som bestämmer prestanda. I en enkel scen, en framträdande mål kan spara observatören så mycket som några hundra millisekunder. Å andra sidan, i upprepade sökning scenarier, observerar kumulativt spendera en hel del tid interagerar med varje scen. Som ett resultat, egenskaper i scenen som möjliggör eller försämrar sökprestanda blir viktigt. Det är därför vissa människor tillbringar så mycket tid med att försöka organisera och decludera sina kontor, hem och andra scener som de har kontroll över och inom vilka de gör många olika uppgifter. En rörig scen kan med tiden kosta oss långt mer än några hundra millisekunder. På grund av vårt intresse för mer verkliga sökscenarier och särskilt för skräp, använder vi en upprepad sökuppgift för att studera i vilken utsträckning bakgrundsscenen inom vilken observatörssökningar påverkar sökprestanda. Att fokusera på bottom-up influenser såsom skräp, i motsats till top-down influenser såsom tidigare på sannolika målplats, kan kategoriska mål visas med lika stor sannolikhet på någon av sex isoeccentriska platser. I stället för att titta på prestanda för att söka efter ett visst mål på en viss plats, som tenderar att vara starkt påverkad av faktorer som mållönsamhet, undersöker vi hur i genomsnitt, över mål och platser, bakgrundsscenen påverkar sökprestationer. Observatörer sökte efter ett kategoriskt målVa GaborVin ett antal geografiska kartor. Även om Gabors vanligtvis inte förekommer i geografiska kartor, gav detta val flera fördelar. För det första kunde vi i princip ha haft en mer naturlig uppgift där observatörer söker efter mål som redan finns i kartorna. Men först, symboler som redan finns på en karta kan knappast förväntas visas alla på samma excentricitet och därmed lägga till en annan källa till varians till data. Att söka efter symboler som redan finns i kartorna skulle dessutom ha varit ett svårare experiment eftersom alla kartor innehåller olika symboler, och vi skulle behöva både bestämma vilka symboler som visas i vilka kartor och informera observatören om olika mål för varje försök. Vi ville att observatörerna skulle söka efter en mängd olika mål, som inte redan finns med i kartorna, över vilka vi hade en rimlig grad av kontroll över deras utseende, samtidigt som vi höll instruktioner till observatörerna enkla genom att låta dem söka efter ett kategoriskt mål. Vi valde mål som bestod av 16 gråskaliga Gabors. (Tidigare pilotexperiment fick observatörer att söka efter ett mål för tjurens ögon, vilket man kan tänka sig som en "du är här" symbol, och resultaten i termer av korrelation med olika mått av visuell röra var praktiskt taget identiska med dem som presenteras här.) Våglängden på bärvågen var alltid dubbelt så stor som standardavvikelsen för kuvertet. Gaborerna varierade i skala (hölje A = 0,55-eller 0,83-), orientering (45-, 90-, 135- eller 180-) och fas (sin eller cosinus). Före försöket visades observatörer ett antal exempel på Gabors, och varje observatör fick ett utbildningsblock med feedback för att se till att han eller hon förstod uppgiften och arten av målen. Varje mål dök upp exakt en gång i var och en av de sex allmänna platserna för bilden. Den exakta platsen för målet bestämdes av superpositionen av en av sex platser i bilden och en liten slumpmässig position jitter av upp till 0,75-i både x och y riktningar. De prejitter målplatserna var isoeccentriska vid cirka 7,6- från den initiala fixeringen. Nitton färgade kartbilder tjänade som bakgrunden mot vilken målen var överlagda. Målen lades till som ett halvgenomskinligt lager ovanpå kartorna. Kartan bilder hittades med hjälp av en slumpmässig sökning efter kartor på webben för att testa de tre kandidat skräp åtgärder på typiska kartor. Kartorna valdes så att 8 var på skalan av att visa ett helt land, 3 var på skalan som visade flera städer, 4 visade en stor del av en stad, och 3 visade bara några få gator. Återigen gjordes detta för att få ett urval av typiska befintliga kartor. Kartorna var beskurna för att vara enhetliga i storlek, för att undvika effekter där sökningen kan ta längre tid bara för att det fanns mer område att söka, och spänner ca 24-of visuell vinkel när man ses under experimentet från 15 i. Kartorna korrigerades för att ha en genomsnittlig luminans av mellannivå grå och att ha ungefär samma medelfärg (även en mellannivå grå) för alla. I princip, Detta gjordes för att minimera en möjlig källa till varians där sökning på en karta kan vara lättare eller svårare bara eftersom kartan var mörkare eller närmare målet (grå) färg än en annan bild. I praktiken tyder ett pilotexperiment på att denna manipulation praktiskt taget inte hade någon effekt på rörmokningsåtgärdernas överensstämmelse med de experimentella uppgifterna. Den genomsnittliga luminansen av Gabor målet var alltid inställd på den lokala genomsnittliga luminansen av kartan, återigen till minimal kontroll för lokala kontrast av målet, vilket kan påverka sökningen prestanda. Figur 6 ger ett exempel på en karta med överplacerade Gabor-mål. Varje observatör satt framför en datorskärm. Observatörerna instruerades att söka efter ett Gabor-mål mot varje bakgrundsbild och att reagera så snabbt och exakt som möjligt på om ett mål fanns eller inte. Bilden visades tills försökspersonerna indikerade sitt svar genom att trycka på "f" för mål frånvarande eller "j" för mål närvarande. Efter varje prövning gavs visuell återkoppling för att indikera om svaret var korrekt. Efter återkopplingen, en fixering-kors dök upp i mitten av displayen för 500 ms innan nästa försök började. Totalt 3 648 studier (16 mål Â 19 bilder Â 6 platser В mål frånvarande / närvarande) fördelades jämnt mellan 12 block. Vi drev våra experiment i MATLAB, med hjälp av Psychophysics Toolbox (Brainard, 1997; Pelli, 1997). Sex ämnen deltog i experiment 1. Alla observatörer hade normal eller korrigerad syn och kompenserades för sin tid.  Vi är intresserade av hur röran i en bild korrelerar med sökprestandan i bilden. Som ett resultat, i vad som följer (både för detta experiment och senare experiment), vi genomsnitt prestanda över mål platser inom en bild och genomsnitt över ämnen. Felrader (som visar standardfel) på diagrammen ger en indikation på variabiliteten mellan individer och målplatser. Vi rapporterar korrelationskoefficienter mellan skräp och genomsnittlig prestanda, i huvudsak fråga vilken procentandel av variansen i genomsnittlig prestanda redovisas av en given skräpmått. Alla skräpåtgärder beräknades på bakgrundsbilderna innan målen lades till. Figur 7A visar genomsnittlig log (RT) jämfört med mätningen av belastningsbelastning. Figur 7B visar resultaten för Subband Entropy-måttet. Figur 7C visar resultaten för Edge Density-måttet. Varje datapunkt representerar 1 av de 19 bakgrundsbilderna. Vi genomsnittliga RT från korrekta prövningar över mål plats, Gabor typ, och föremål för att få ett enda mått på RT per bild för både mål - frånvarande och mål - närvarande prövningar. Vi finner en signifikant korrelation mellan den genomsnittliga loggen (RT) och var och en av rören åtgärder: Feature Congestion (r =.74, mål närvarande; r =.76, mål frånvarande; p G.001), Subband Entropy (r =.75, mål närvarande; r =.77, mål frånvarande; p G 001) och Edge Density (r =.83, mål närvarande och mål frånvarande; p G.001). Alla tre mått av visuell röran gör ett bra jobb med att förutsäga effekten av bakgrundsbildenVthat är, effekten av displayen skräpVon sökprestanda. Ingen av dessa korrelationskoefficienter skiljer sig väsentligt från varandra (p 9.05). I detta experiment jämför vi resultaten av de tre skräpåtgärderna med ett mer traditionellt psykofysiskt mått på prestanda: kontrasttrösklar som krävs för en given prestandanivå vid en visuell sökning. I detta, som i senare experiment, om inte annat anges, metoderna och stimuli är som i Experiment 1. Observatörer sökte efter en pilsymbol i ett antal geografiska kartor. Pilarna var mörka mot en ljus rektangulär bakgrund, så att deras genomsnittliga färg var mellannivå grå. Varje pil pekade antingen till vänster eller till höger. Pilarna var ungefär 1,2-in längd. Figur 8 visar ett exempel på en pil i en karta. Tjugo färgade kartbilder tjänade som bakgrundsbilder mot vilka målen var överlagda. Femton av dessa kartor var desamma som i experiment 1. Fyra av dessa kartor togs bort från detta experiment eftersom de redan innehöll pilar, och fem kartor med ungefär samma skräp lades till i deras ställe. Pilarna lades åter öppet till bakgrundsbilder; detta innebar att vid 0 kontrast, pilarna var osynliga.
I REF, Rosenholtz et al. införa en annan klumpmätmetod som kallas Subband Entropy measure.
Measuring visual clutter
{'venue': 'Journal of vision', 'journal': 'Journal of vision', 'mag_field_of_study': ['Psychology', 'Medicine']}