Vi beskriver mönstret av fixeringar av ämnen som tittar på figurativa och abstrakta målningar från olika konstnärer (Molina, Mondrian, Rembrandt, della Francesca) och på modifierade versioner där olika aspekter av dessa konstverk ändrades med enkla digitala manipuleringar. Vi visar att fixeringarna av ämnena följde några allmänna gemensamma principer (t.ex. lockas till saliency regioner) men med en stor variation för de figurativa målningarna, enligt motivets personliga uppskattning och kunskap. I synnerhet hittade vi olika gazing mönster beroende på om motivet såg originalet eller den modifierade versionen av målningen först. Vi drar slutsatsen att studien av gazing mönster som erhållits genom att använda eyetracker-tekniken ger ett användbart tillvägagångssätt för att kvantifiera hur ämnen observerar konst. Nyckelord: eyetracker, konst, mondrian, rembrandt, visuell perception Vilka principer använder vår hjärna för att skapa en utsökt representation av den yttre världen, den som gör att vi kan känna igen ett ansikte, nå ett objekt eller uppskatta ett konstverk? Forskare har hanterat denna typ av frågor under ganska lång tid, men roten till frågan om hur vi uppfattar går tillbaka till forntida filosofi. I själva verket var det mer än två millenier sedan Aristoteles, den lysande grekiska filosofen, noterade att våra sinnen skapar bilder, interna representationer av den yttre världen, som vi använder för vår tanke (Aristoteles, De Anima; 431 a, 431 b ). Senare, på 1800-talet, utvecklade Hermann von Helmholtz ytterligare denna idé och hävdade att uppfattningen innebär omedvetna slutsatser från den ofullständiga information vi får från de olika sinnena (von Helmholtz, 1866; Gregory, 1997 Gregory,, 1998. Processen att se är därför långt ifrån en reproduktion av de bilder som hindrar näthinnan. Det är snarare resultatet av vår unika tolkning av tvetydig sensorisk information. Den mest anmärkningsvärda bekräftelsen av detta uttalande ges av existensen av visuella illusioner, där antaganden gjorda av vår hjärna kan lura eller förvränga vår uppfattning, även om vi är fullt medvetna om att detta händer (Gregory, 1997 (Gregory,, 1998 Eagleman, 2001). Visuell information omvandlas till neurala bränningsmönster i näthinnan och vidare bearbetas av cerebral cortex (Kandel et al., 2000). I cortex, processen för visuell perceptioni.e., extrahera och härleda relevanta funktioner i vad vi ser startar i det primära visuella området (V1), i baksidan av huvudet, och fortsätter längs ventral visuell väg, går upp till infero-temporal cortex (IT; Logotetis och Sheinberg, 1996; Tanaka, 1996). Även om mycket återstår att förstå, efter årtionden av forskning med encellsinspelningar hos apor och fMRI-studier hos människor, har konvergerande bevis visat att segregerade områden i denna processväg representerar olika aspekter av den visuella stimulansen, från kodning av lokala orienteringar i V1 (Hubel och Wiesel, 1962), till en mer komplex representation av ansikten i IT (Gross et al., 1969), och även begrepp i högre, minnesrelaterade områden (Quian Quiroga et al., 2005). Både med hjälp av fMRI- och encellsinspelningar har subjektiviteten hos perceptionen tydligt visats i olika studier med tvetydiga eller alternerande percepter. Dessa studier kopplade den neuronala bränningen till den medvetna uppfattningen hos försökspersonerna, som utlöses av den externa stimulansen men domineras av försökspersonernas egna interna representationer (Logothetis, 1998; Leopold och Logotetis, 1999; Kreiman m.fl., 2002; Quian Quiroga m.fl., 2008). En av de mest subjektiva perceptuella upplevelserna ges av konst och det är kanske denna unika och mycket varierande personliga upplevelse som gör konsten så attraktiv. Men trots denna subjektivitet styrs uppfattningen om t.ex. en självporträtt av van Gogh av liknande visuella uppfattningsprinciper som de som är involverade i att känna igen ett bekant ansikte, en katt eller ett äpple. Vi kan då fråga oss vilka processer i vår hjärna som gör konsten så speciell och, viktigast av allt, hur vi vetenskapligt kan börja ta itu med denna fråga. Sådana studier kräver samverkan mellan konst och vetenskap, två områden som, med få anmärkningsvärda undantag, som i fallet med den geniala Leonardo da Vinci, har vuxit parallellt med endast räknade interaktioner. Trots den inverkan som den vetenskapliga undersökningen av konst skulle kunna ha, är det på något sätt förståeligt att ett sådant företag bara börjar starta (för banbrytande studier se Zeki och Lam, 1994; Gregory et al., 1995; Ramachandran och Hirstein, 1999; Zeki, 1999; Livingstone, 2002; Cavanagh, 2005). Å ena sidan är konstuppfattningen för subjektiv och utmanande för en rigorös vetenskaplig undersökning. Å andra sidan kan konstnärer vara rädda för att vetenskapsmännen skulle kunna få ett öga att titta på konst missvisande reduktionism som skulle förenkla alla aspekter som är inblandade i uppskattningen av konst. I ett försök att överbrygga dessa två fält, d.v.s. med hjälp av vetenskapliga metoder för att studera konst, använde vi i denna studie eyetracking-teknik för att kvantifiera hur ämnen ser på olika konstverk. Långt ifrån ett reduktionistiskt tillvägagångssätt försöker vi ge ytterligare insikter om hur ämnen "se konst" enligt deras speciella mönster och, förutom att hitta allmänna gemensamma principer, vi också observerade en stor variation enligt ämnenas tidigare kunskaper och preferenser. MATERIAL OCH METODER Ögonspårningsinspelningar gjordes i 10 individer (sex män, fyra kvinnor; 23-34 år) sittande bekvämt framför en 24 tums datorskärm, på ett avstånd av ca 70 cm, där olika bilder visades för 1 min vardera. Bilderna var digitala reproduktioner (storlek 1024 × 768 pixlar) av original och modifierade konstverk från Piero della Francesca (Kristus dop), Piet Mondrian (Komposition nr. 8, och sammansättning II i rött, blått och gult), Rembrandt van Rijn (Filosofer i meditation), och samtida konstnären Mariano Molina (mitt i blicken). Ändrade versioner av målningarna gjordes med Photoshop. Subjekt ombads att fritt se på bilderna, som visades i en pseudo-randomized sekvens. För att balansera och utvärdera möjliga inlärningseffekter, dvs. att se originalet eller den modifierade versionen av en målning först, såg hälften av objekten sekvensen av bilder i den främre ordningen och den andra halvan i den omvända ordningen. Ögonrörelsedata samlades in med ett EyeLink II-system (SR Research) i fjärrmonokulärt läge med en provtagningshastighet på 1 kHz. Före varje stimuli presentation gjordes en snabb kalibrering med hjälp av ett rutnät med fem datapunkter: en i mitten och fyra förskjutna 150 mm i de fyra kardinalriktningarna. För varje bildpresentation erhöll vi de rumsliga koordinaterna för varje fixering. För att kvantifiera resultaten definierade vi för varje figur olika intressanta regioner (som beskrivs i avsnittet Resultat) och jämförde det relativa antalet fixeringar i dessa regioner, mellan de ursprungliga och modifierade versionerna av målningarna, med hjälp av T-test. RESULTAT visar ögonbilden hos ett motiv som tittar på målningen "i centrum av blicken" av Mariano Molina, en samtida konstnär från Argentina. I den här målningen suddar konstnären ut större delen av bilden, med fokus på betraktarens uppmärksamhet i ett centralt område. Det är tydligt att de sakkader som gjorts av detta och nio andra ämnen (se figur A1 i tillägget) lockades till detta "centrum för blick". I synnerhet var antalet fixeringar i detta område under 60 s av fri-screening av målningen betydligt större än de i resten av målningen (höger sida av figur 1 ; T -test: p < 10 −3 ), trots det faktum att området i denna region av intresse var mindre än en tredjedel av området i resten av duken. eyetracker-studien i detta fall bekräftade och kvantifierade i vilken grad konstnären uppnådde den förväntade effekten i sin skapelse. Den holländska konstnären Piet Mondrian (1872-1944) hyllas enhälligt för herraväldet över balans och harmoni i dessa målningar, skapade med vertikala och horisontella linjer, och en utsökt användning av primära färger (Gombrich, 1995). Den övre vänstra tomten i figur 2 visar Mondrians sammansättning II i rött, blått och gult och sakkad mönster av ett ämne tittar på denna målning. Balansen i denna duk uppnås delvis genom användning av en liten kvadrat av blått, med en hög kontrast till omgivande vita rektanglar, och en mycket större röd lapp, men med en mindre kontrast till angränsande rektanglar. För denna målning definierade vi fyra områden av intresse, som markerade i figuren, och noterade att ämnets blick lockades till dessa regioner. Figuren i höger, visar en modifierad version av målningen, där vi ändrade balansen (hög kontrast liten kvadrat jämfört med låg kontrast stor kvadrat) genom att byta blå och röda färg fläckar. Jämfört med originalet ser den modifierade målningen obekväm ut, ur balans. Den eyetracking mönster av samma ämne bekräftade detta intryck, eftersom fixeringarna var i princip begränsade till den höga kontrasten område av den stora blå kvadraten. I själva verket ser det ut som om fixeringarna var på något sätt fångade i detta område. Även om det fanns en viss variation fanns det ett generellt liknande fixeringsmönster för de andra försökspersonerna (figur A2 i tillägget). För att kvantifiera denna observation, beräknade vi antalet fixeringar under 60 s presentationer i de fyra regioner av intresse för alla ämnen (Figur 2 botten diagram) och statistiskt jämförde antalet fixeringar i stort område minus de i de andra tre områdena (dvs. ROI1 - [ROI2 + ROI3 + ROI4]) för den ursprungliga och den modifierade Mondrian. Skillnaden mellan originalet och den modifierade versionen av målningen var betydande (T -test: p < 0,05), i överensstämmelse med observationen att den stora blå rektangeln i den modifierade versionen lockar fler fixeringar än resten av duken. För att ytterligare studera harmoni och balans, som kvantifieras av antalet fixeringar som erhålls med eyetracker, använde vi en annan känd Mondrian målning, "Komposition nr. 8" (figur 3, vänster sida). I detta fall erhålls balansen med en mer komplex kombination av färg (t.ex. den röda rektangeln i övre vänstra hörnet) och densiteten av linjer och linjer korsningar (mot mitten och nedre högra delen av målningen). I figuren visar vi överplacerade sakkaderna av ett ämne, som rullade de flesta områden av målningen och gick fram och tillbaka från den övre vänstra röda rektangeln till mitten högra linjen korsningar och de framträdande färgerna i den allra nedre. Den högra sidan figuren visar en modifierad version av målningen, där den röda rektangeln flyttades till nedre högra. I detta fall var ämnet tydligt partiskt, vilket resulterade i ett större antal fixeringar i det nedre högra hörnet. Som i det tidigare fallet, efter en enkel förändring balansen i målningen är helt förlorad. Med viss variabilitet sågs liknande resultat för de övriga försökspersonerna (figur A3 i tillägget). För denna målning definierade vi tre intressanta regioner, som visas i figuren, och vi beräknade antalet fixeringar i var och en av dessa regioner. De nedre figurerna i figur 3 visar det genomsnittliga relativa antalet fixeringar i varje område av intresse för alla ämnen. För att kvantifiera FIGURE 2  med original (vänster) och modifierad version (höger) av Mondrian's "Komposition II i rött, blått och gult", med fixeringsmönster av ett subjekt överinsatt. För båda versionerna av målningen definierade vi fyra intressanta regioner (ROI1 i blått, ROI2 i cyan, ROI3 i gult och ROI4 i rött) och det genomsnittliga relativa antalet fixeringar i varje region visas på botten. I den modifierade versionen, den stora blå lappen lockar de flesta fixeringar, vilket bryter ner balansen i den ursprungliga målningen. partisk mot nedre högra hörnet, jämförde vi statistiskt antalet fixeringar i nedre högra (ROI3) med de i de andra två områdena (dvs. ROI3 − [ROI1 + ROI2]) för de ursprungliga och modifierade Mondrian målningar. Denna jämförelse visade en tendens till ett större antal fixeringar för den mest framträdande regionen (ROI3) i den ändrade bilden (T-test: p = 0,069), som inte nådde betydelse på grund av en stor variation i antalet fixeringar till regionen ROI2. Men med tanke på endast ROI3-ROI1, skillnaden mellan den ursprungliga och modifierade målning blev betydande (T -test: p < 0,05). Därefter studerade vi två exempel på bildlig konst. Rembrandt van Rijn (1606-1669) anses vara en av mästarna i chiaroscuro, dvs användning av starka kontraster mellan ljus och mörker (Gombrich, 1995). Ett fantastiskt exempel på hans teknik ges av "Filosof i meditation" (vänster målning i Figur 4), där den svarta bakgrunden på vänster sida ökar kontrasten av den vita/gula färgen på fönstret, vilket ger en formidabel förstärkning av ljusstyrkan i solljuset som kommer igenom (för en detaljerad analys av användningen av färg och kontrast i denna målning se Livingstone, 2002). Den höga kontrast som Rembrandt använder driver uppmärksamheten på filosofens figur och resten av scenen förblir på något sätt i mörkret. Detta ger en extraordinär effekt i målningen, eftersom karaktären längst ner till höger verkar förpassas till en sekundär roll och spiraltrappan verkar leda till ett mystiskt mörkt rum på övervåningen. Sådana beskrivningar är naturligtvis mycket subjektiva och svåra att kvantifiera eller testa under rigorösa vetenskapliga experiment. Vi antog dock att avlägsnandet av den svarta bakgrunden till vänster och botten (figur 4 till höger) skulle minska filosofens styrka och göra bilden mer homogen och på något sätt skapa uppfattningen av bilden "öppna upp", som om den totala belysningen hade ökat. Ett motivs glittrande mönster visas ovanpå de ursprungliga och modifierade versionerna av målningen. Som väntat fanns det i den ursprungliga versionen ett stort antal fixeringar till filosofen och färre fixeringar till karaktären till höger eller resten av scenen, medan fördelningen av fixeringar i den modifierade versionen var mer homogen. För att kvantifiera denna observation definierade vi två regioner av intresse, runt filosofen (ROI1) och runt den andra karaktären (ROI2), och beräknade skillnaden mellan fixeringarna i dessa två regioner (ROI1-ROI2) både för de ursprungliga och de modifierade versionerna. De nedre panelerna visar det genomsnittliga relativa antalet fixeringar för alla ämnen, där vi observerar att skillnaden i antalet fixeringar mellan båda regionerna var större för den ursprungliga versionen, med ett större antal fixeringar till filosofen. Denna skillnad nådde dock inte statistisk signifikans (T-test: p = 0,33). Bristen på statistisk betydelse berodde på en stor variation från subjekt till subjekt, som för denna målning det specifika och subjektiva intresset av vart och ett av ämnena (t.ex. ett intresse för filosofen, personen i höger, en undersökning av bakgrunden, tidigare kunskap om målningen, etc.) fullständigt ändrat det erhållna blickmönstret (se figur A4 i tillägget). Det är också mycket intressant att notera att ett annat resultat erhölls för de ämnen som först såg den ursprungliga versionen, jämfört med dem som först såg den ändrade versionen. I den förra gruppen observerades ett större antal fixeringar till filosofen både i de ursprungliga och modifierade versionerna (höger övre figurer i figur A4 i tillägget). Detta kan tillskrivas det faktum att ämnena i den modifierade versionen kom ihåg och ägnade uppmärksamhet åt filosofens framträdande karaktär som de såg i den ursprungliga versionen. Tvärtom, för de ämnen som först såg den modifierade versionen var filosofen och personen till höger till en början lika framträdande och ett större antal fixeringar till filosofen erhölls Även om den modifierade versionen bara är en beskärning av originalet, verkar den vara mer upplyst och ämnet utforskade hela målningen, medan han i den ursprungliga versionen var mer fokuserad på filosofen. De nedre tomterna visar det relativa genomsnittliga antalet fixeringar i två regioner av intresse (ROI1 i blått och ROI2 i rött). Endast i den ursprungliga versionen (den högra nedre delen av diagrammen i figur A4 i tillägget). Slutligen studerade vi ett mästerverk från renässansen, "Kristus dop" av den italienske mästaren Piero della Francesca (1415Francesca ( -1492). Den vänstra sidan av figur 5 visar den ursprungliga målningen och den högra sidan en modifierad version där vi ändrade duvans position (som representerar den Helige Ande). I den ursprungliga målningen finns en vertikal symmetriaxel formad av Kristi kropp och händer, hans ansikte och duvans position. De överinställda ögonmönster hos motivet som visas i figuren återspeglar tydligt denna axels styrka, som inte finns i den ändrade versionen. I själva verket, i den modifierade versionen ögat mönster av motivet verkar mer nyckfull, går från ena ansiktet till den andra, och harmonin i den vertikala symmetriska axeln, det viktigaste inslaget i denna sammansättning, försvann. För denna målning definierade vi fyra intressanta regioner, som visas i figuren. Det genomsnittliga antalet fixeringar för alla ämnen (figur 5, bottenytor) visar ett större antal fixeringar till duvan (ROI3) för den ursprungliga målningen jämfört med den modifierade (T-test: p < 0,05). Däremot fanns det inga signifikanta skillnader i antalet fixeringar mot duvan i den ändrade positionen (ROI4). Detta understryker det faktum att duvan är mer framträdande när den är en del av den ovan nämnda symmetriaxeln, men som i fallet med Rembrandt, hittade vi också ett helt annat mönster av fixering beroende på om motivet tittade först på originalet eller den modifierade versionen av målningen. För de ämnen som först tittade på den ändrade versionen (figur A5 i tillägget, nedre två rader), var duvan inte framträdande (dvs. de var få fixeringar till den) och när de senare tittade på originalet, tillbringade de tid att gå fram och tillbaka den faktiska och tidigare positionen av duvan. Med andra ord, de noterade förändringen och slutade titta mer gånger på region ROI4 i originalet (även om detta var det tomma utrymmet där Quiroga och Pedreira Eye gazing av konst duva var tidigare), jämfört med antalet fixeringar i denna region när duvan var faktiskt där i den ändrade versionen. De ämnen som tittade på originalet tenderade först att följa ovannämnda vertikala axel och när de senare tittade på den ändrade versionen fokuserade de också på duvans ändrade position (figur A5 i tilläggets två översta rader). Exemplet visar tydligt hur glittrande mönster, som vi använder som en proxy för att kvantifiera och studera ämnenas uppskattning av konsten, helt kan modifieras av ämnenas tidigare kunskap, dvs att se originalet eller den modifierade versionen av målningen först. I denna studie använde vi eyetracker-teknik för att kvantifiera hur försökspersoner ser på konstverk. Vi fann att det trots den oundvikliga variabiliteten mellan subjekt och subjekt fanns gemensamma grundmönster för fixeringar. I Molinas målning, "Sanningens centrum", drogs uppmärksamheten från alla objekt oundvikligen till området i målningen med en skarp upplösning. Därför, den manipulation som genomförts av konstnären fungerade som en låg nivå visuell kö som tvingade ett gemensamt mönster av utforskning av målningen. Vi studerade sedan begreppet balans i två Mondrian målningar och visade hur enkla förändringar kunde förstöra den känsliga harmonin i sammansättningen, partiska ögat mot bestämda delar av duken. Även om det fanns ett liknande svarsmönster för försökspersonerna, var manipuleringen mer komplex än den som användes i "ögonblickets centrum" och därför fanns det en mycket större variation mellan försökspersonerna. Dessa resultat är i linje med tidigare studier som visar förändringar i uppfattningen av Mondrians målningar när de varierar sin orientering, proportionella relationer och ursprungliga färger (McManus et al., 1993; Latto et al., 2000; Locher et al., 2005). I målningen av Rembrandt varierade vi kontrasten och även om det fanns en tendens i överensstämmelse med vad som förväntades, fann vi att det fanns ett stort inflytande av ämnenas kunskap, beroende på om de först såg originalet eller den modifierade versionen av målningen. En liknande effekt var också närvarande för målning av Piero della Francesca. Dessa exempel visar hur synen på konst är en mycket komplex process som beror på faktorer på olika nivåer. Å ena sidan finns det grundläggande visuella principer, såsom kontrast och soliditet, som inför en viss enhetlighet i olika ämnens blickmönster genom att man driver uppmärksamheten till särskilda områden, och å andra sidan finns det också mer komplexa kognitiva faktorer, såsom tidigare erfarenheter och kunskap, som medför en stor variation mellan försökspersonerna. Sammanfattningsvis fann vi några gemensamma principer i hur människor ser på konst och en stor variation beroende på ämnenas egna intressen, konstnärliga uppskattning och kunskap. Denna stora ämne-till-ämne variabilitet gör den vetenskapliga studien av konst mycket utmanande. Det är verkligen mycket svårt att hitta gemensamma principer, men denna brist på enhetlighet och objektivitet är kanske en av anledningarna till att konsten är så unik, personlig och fascinerande. ERKÄNNANDEN
Quiroga m.fl. i REF har funnit att människor tittar på konst beroende på ämnets intresse och sin egen konstnärliga uppskattning.
How Do We See Art: An Eye-Tracker Study
{'venue': 'Front. Hum. Neurosci.', 'journal': None, 'mag_field_of_study': ['Psychology', 'Medicine']}