I denna artikel redovisas författarens senaste forskning i att utveckla en holistisk modell för olika nivåer av digital bibliotek (DL) utvärdering där uppfattade viktiga kriterier från heterogena intressentgrupper organiseras och presenteras. För att utveckla en sådan modell tillämpade författaren en trestegsforskningsmetod: prospektering, bekräftelse och verifiering. Under prospekteringsfasen genomfördes en litteraturgenomgång som följdes av en intervju, tillsammans med en kortsorteringsteknik, för att samla in viktiga kriterier som DL-experter uppfattade. Därefter användes de kriterier som identifierats för att utveckla en online-undersökning under bekräftelsestadiet. De svarande i undersökningen (431 totalt) från 22 länder bedömde kriteriernas betydelse. En holistisk DL-utvärderingsmodell har konstruerats med hjälp av statistiska metoder. Slutligen utformades verifieringsstadiet för att testa modellens tillförlitlighet i samband med sökandet och utvärderingen av en operativ DL. Den föreslagna modellen fyller två luckor på DL-området: a) avsaknaden av en omfattande och flexibel ram för att vägleda och jämföra utvärderingar, och b) osäkerheten om vilka skillnader som finns mellan heterogena DL-aktörer, inklusive allmänna användare. World Wide Web, tillsammans med avancerad beräkningsteknik, katalyserar digital bibliotek (DL) forskning och praxis. Under det senaste årtiondet har antalet pågående och slutförda DL-projekt ökat exponentiellt. Jämfört med det växande antalet DL-projekt är dock den totala kvaliteten på DL inte tillräckligt studeras och rapporteras (Chowdhury & Chowdhury, 2003; Goncalves, Moreira, Fox, & Watson, 2007; Isfandyari-Moghaddam & Bayat, 2008; Saracevic, 2000; Xie, 2006 Xie, 2008. "Utvärdering är mer iögonfallande genom sin frånvaro (eller bara minimal närvaro) i den stora majoriteten av publicerade arbeten på digitala bibliotek... Hittills har utvärderingen inte hållit jämna steg med arbetet i digitala bibliotek" (Saracevic 2000 s. 351). Utöver kvantitetsfrågan (dvs. inte alla DL-projekt har utvärderats, och inte alla projekt med utvärdering har hela DL-aspekterna täckta), är kvaliteten på DL-utvärderingen problematisk. Utvärderingsmetoder och kriterier varierar mellan de befintliga studierna. Det är knappast möjligt att jämföra utvärderingsresultaten. Dessutom antog majoriteten av studierna traditionell informationssökning (IR) och mottogs den 8 september 2008; reviderade den 27 maj 2009; accepterade den 27 juli 2009 © 2009 ASIS&T • Publicerad på nätet den 13 oktober 2009 i Wiley InterScience (www.interscience.wiley.com). DOI: 10.1002/asi.21220 biblioteksutvärderingsmetoder och kriterier för att undersöka gemensamma egenskaper (t.ex. informationssäkerhet, användarvänlighet i gränssnittet). Få mätvärden återspeglar unika DL-egenskaper, t.ex. variation i digitalt format. Och få tar upp effekterna av en DL på högre nivåer, inklusive i vilken utsträckning en DL passar in i eller förbättrar människors dagliga arbete/liv (Bearman, 2007; Saracevic, 2000). Efter att ha erkänt lacunae, ett antal yrkesverksamma och forskare har sökt en giltig DL utvärdering ramar, föreslår vad som bör utvärderas, hur en DL bör utvärderas, och vem som bör utvärdera det. 1998 (juli/augusti) publicerade D-Lib Magazine en rapport från Data Science & Telecommunication Board, Nationella forskningsrådet, inom vilken följande slutsats är heuristisk till DL-utvärdering: "Att få till stånd ett samförstånd om även en minsta gemensam nämnare för ny statistik och resultatåtgärder skulle vara ett stort steg framåt...". Borgman (2002) kommenterade också: "Den digitala biblioteksgemenskapen behöver riktmärken för jämförelse mellan system och tjänster...Vi behöver också en uppsättning mått för att jämföra digitala bibliotek"(s.10). I denna artikel redovisas en trestegsforskning om att utveckla en holistisk modell för DL-utvärdering. Det inleds med en sammanfattning av allmän bakgrund, litteraturgenomgång och forskningsmål följt av en detaljerad metodbeskrivning. I avsnittet Finding redovisas viktiga resultat med fokus på att illustrera den föreslagna modellen tillsammans med en sammanfattning av viktiga kriteriers uppfattningar bland heterogena intressentgrupper för olika nivåer av DL-utvärderingar. Slutligen föreslås i diskussionsavsnittet vilka konsekvenser forskningen får för DL-innovation och riktlinjer för framtida studier. Granskningen av tidigare studier är inriktad på vilka kriterier och ramar som har använts i DL-utvärderingarna. DL utvärderingskriterier och åtgärder som används eller föreslås i befintlig litteratur kan i huvudsak grupperas på sex nivåer, nämligen innehåll, teknik, gränssnitt, tjänst, användare och sammanhang, som Saracevic (2000) föreslår. Trots betydelsen av utvärdering av digitalt innehåll (Xie, 2006) verkar detta forskningsorgan vara ett svagare område. Få studier rapporterar sin DL-utvärdering på denna nivå. I huvudsak används kriterier för att bedöma fyra typer av digitalt innehåll: digitalt objekt, metadata, information och insamling. Bland dessa fyra typer verkar digitala objekt vara den unika typen för DLs och därmed utvärderas enligt DLspecifika kriterier, såsom trohet (Kenney, Sharpe, & Berger, 1998) och lämplighet för original artefakt (Goodrum, 2001; Jones & Paynter, 2002). De återstående tre typerna har utvärderats med konventionella kriterier, inklusive noggrannhet, tydlighet, kostnad, lättförståelse, informativhet, läsbarhet, aktualitet och användbarhet. Dessutom tar skalbarheten för användargrupper (Kengeri, Seals, Reddy, Harley, & Fox, 1999; Kenney m.fl., 1998; Larsen, 2000) itu med en avgörande fråga inom DL-innovation, som involverar fler olika användargrupper med olika bakgrunder och förändrade behov. Digital teknik utvärdering har två foci: hårdvara och programvara. Den senare använder främst konventionella relevansbaserade effektivitetsåtgärder, medan flera studier anpassar dem för att passa in i digitala och hypermedierade omständigheter (Hee,Yoon, & Kim, 1999; Salampasis & Diamantaras, 2002 Digitala tjänsteutvärderingar undersöker hur väl en DL kan ge ytterligare hjälp på begäran (särskilt mänskliga eller mänskliga) till användare. Lankes, Gross, & McClure, (2003) identifierade sex kriterier för utvärdering av digital referens, nämligen artighet, noggrannhet, tillfredsställelse, upprepade användare, medvetenhet och kostnad. Några andra kriterier från traditionella biblioteksutvärderingar ansikte mot ansikte (t.ex. tillgänglighet, artighet, empati, tillförlitlighet, skillnad före och efter tjänsteingripande, klyftor mellan förväntningar och uppfattning) finns också i digitala tjänster. Dessutom passar ett par kriterier särskilt in digitala referenstransaktioner med tidsfördröjning och osynlighet i kommunikationen, såsom lyhördhet (Cullen, 2001; Lankes m.fl., 2003; White, 2001 ) och användarkontroll (White, 2001 ). Utvärderingar på användarnivå mäter indirekt DLs genom att undersöka attribut hos sina användare, såsom förändringar av deras informationsbeteenden, fördelar i fråga om användarnas uppgifter i hand, eller senare om forskning, arbete och liv. Hittills har de flesta utvärderingar på denna nivå fokuserat på användning/användning och fördelar med individuell sökning och lärande. Ofta använda användarnivå kriterier inkluderar sessionstid, noggrannhet av uppgiften slutförande, acceptans, användning / intention att använda, och tillfredsställelse. I praktiken är DL-utvärderingen på kontextnivå ett annat svagt område, oavsett hur viktigt det är för flera ledande forskare (Bishop, 1999; Marchionini, 2000; Saracevic, 2000). Hittills har endast ett fåtal utvärderingar i viss utsträckning undersökt DL:s kontextuella effekter, däribland efterlevnad av upphovsrätten (Jones, Gay, & Rieger, 1999) och bevarande och spridning av kultur (Places m.fl., 2007). Dessutom föreslogs hållbarhet för att mäta i vilken utsträckning en förstärkning av en DL kunde säkerställas utan att så småningom förlora sin vitalitet (Blixrud, 2002; Lynch, 2003). Sammanfattningsvis har DL-utvärderingarna till stor del varit inriktade på gränssnitt och användarnivåer. Innehålls- och kontextnivåer får liten uppmärksamhet. Dessutom är de flesta av de kriterier som används endast lånade från det traditionella biblioteks- och informationssystemets domäner. Det saknas DL-specifika utvärderingsåtgärder för att exempelvis undersöka hur väl DL-information och samlingar är integrerade med varandra, i vilken utsträckning olika DL-värden är kompatibla med varandra, hur väl DL-värden stöder social/gruppinteraktion mellan heterogena användare som använder hypermediainformation och om det finns några förändringar i användarnas dagliga arbete och liv som är förknippade med DL-tillämpningar. Människor har arbetat med att utveckla ramar/modeller för benchmarkingutvärderingar. Bland dessa studier finns bara ett fåtal kriterier för flera dimensioner av DL-utvärdering: Kwak, Jun, & Gruenwalds (2002) Inte bara bör uppmärksammas vilka utvärderingsramar som föreslås, det är också viktigt att veta hur de utvecklas för att se om en viss ram är giltig och överförbar till olika miljöer. Bland de få DL-utvärderingsramarna konstrueras de flesta av dem genom att man konsoliderar experternas yttranden, ser över befintliga DL-konstruktioner, projekt och utvärderingskriterier eller förlitar sig på forskarnas egna perspektiv. Giltigheten av dessa ramar försvagas antingen av denna forskning syftar till att utveckla en holistisk DL-utvärderingsmodell med en uppsättning kriterier som omfattar centrala DL-aspekter och omfattar perspektiv från heterogena intressenter, inklusive DL-slutanvändare. Två teoretiska ramar kastar ljus över forskningen. Den ena är Saracevic's (1996 Saracevic's (, 1997 Saracevic's (, 2000 stratifierad informationssökning (IR) modell; och den andra är Marchionini's (2000) mångfacetterade strategi för att bedöma DL effekter. Den stratifierade modellen betraktar ett IR-system, inklusive en DL, som en enhet som innehåller komponenter på olika nivåer: innehåll, teknik, gränssnitt, användare, tjänster och sammanhang. Systemet fungerar genom interaktioner mellan de stratifierade nivåerna. Modellen skildrar viktiga komponenter i en DL på ett omfattande men också flexibelt sätt. I sitt konceptualiseringsdokument för DL-utvärdering beskriver Saracevic (2000) de stratifierade skikten som "Contexts for Evaluation" (dvs. sociala, institutionella, individuella användare, gränssnitt, system och innehåll). Med andra ord, även om modellen ursprungligen föreslogs för traditionella IR-system, bör den fortfarande vara lämplig för att styra DL-forskning. Även om den stratifierade modellen beskriver vad som kan utvärderas, är Marchioninis mångfacetterade DL-strategi ett kompletterande ramverk som föreslår hur kvalitetsdata kan samlas in, analyseras och rapporteras. Efter att ha tagit itu med komplexiteten i DL-utvecklingen med olika personer och aktiviteter, föreslår den mångfacetterade strategin att DL-utvärderingar ska genomföras genom att ta olika synpunkter, använda olika tillvägagångssätt och från olika dimensioner, sedan integrera data, och slutligen nå en slutsats. Här ingår de stratifierade och mångfacetterade tillvägagångssätt som bildar upplysande riktlinjer för att utveckla en holistisk DL-utvärderingsmodell där olika människors perspektiv mot alla typer av nivåer. Huvudsyftet med denna forskning är att utveckla en sådan holistisk DL-utvärderingsmodell. Modellen bör ha följande två betydelser när det gäller att vara holistisk: a) omfatta alla DL-nivåer, inklusive digitalt innehåll, teknik, gränssnitt, tjänst, användare och sammanhang, och b) föra in perspektiv från så många olika grupper av intressenter som möjligt. Tre forskningsmål är följande: • Att identifiera vilka kriterier som kan och bör användas i DL-utvärderingen och utarbeta en preliminär uppsättning kriterier för olika DL-nivåer genom att undersöka befintliga studier och få fram DL-experters yttranden. • Att undersöka i stor skala hur viktiga varje kriterium i den preliminära uppsättningen är i perspektivet av mer olikartade intressentgrupper, och bygga en modell där kriterier som uppfattas som "viktiga" presenteras på ett meningsfullt sätt. • För att testa modellens giltighet när den tillämpas på extant DL användning och utvärdering. För att utveckla den holistiska DL-utvärderingsmodellen använde jag en hybridforskningsmetod som kombinerar både kvalitativa och kvantitativa metoder. I synnerhet utformades en trestegsstrategi för forskning (se figur 1) – undersökning, bekräftelse och verifiering för att identifiera så många och så olika kriterier som möjligt som kan och bör användas i DL-utvärderingen, och så småningom för att bygga upp en giltig modell med införande av viktiga kriterier som uppfattas av olika intressenter. Dessa tre faser är begreppsmässigt och metodologiskt sammankopplade. Under prospekteringsfasen användes en representativ litteraturöversikt och en halvstrukturerad intervju för att undersöka vilka kriterier som skulle kunna och bör användas i DL-utvärderingen. Därefter införlivades de kriterier som identifierades från undersökningsstadiet i ett frågeformulär på nätet under bekräftelsefasen. Fler svarande från mer heterogena intressentgrupper i DL ombads att bedöma betydelsen av varje kriterium. Författaren konstruerade den holistiska modellen med hjälp av beskrivande och inferens statistiska tekniker. Slutligen prövades modellens giltighet i verifieringsskedet genom intressenternas samverkan med en verklig DL. Urvalet av forskningsmetoder planeras noggrant med hänsyn till att vara lämpligt för motsvarande forskningsmål samt att maximera styrkan hos varje metod. Till exempel, en halvstrukturerad intervju har styrka i att framkalla en persons tysta tankar, särskilt när han eller hon avser rik kunskap i ämnet (Lindlof, 1995), och därmed är lämpligt för att utforska så många som möjligt experters perspektiv på vilka kriterier som är viktiga för DL utvärdering, ett område som inte så väl utforskas. Samtidigt är en online-undersökning mer lämplig för att statistiskt bekräfta betydelsen av dessa kriterier genom perspektiv från en större mängd och mer olikartade grupper av DL intressenter. Dessutom, som en forskningsmetod med både kvalitativ och kvantitativ natur, kan öppna frågor i undersökningen användas för att berika de fastställda kriterierna. Jag gick igenom litteraturen med hjälp av följande förfaranden: 1. Identifierade och utvalda relaterade källor som sannolikt kommer att omfatta DL-utvärderingslitteratur. 2. Utgångspunkten är följande: Konstruerad sökning uttalanden och komponerade sökfrågor för att hämta DL utvärdering litteratur. 3. Vad är det som händer? Utvalda dokument från återvunna uppsättningar som omfattar DL-utvärderingsramar, metoder eller kriterier. 4. Vad är det som händer? Sammanfattade ramarna, metoderna och kriterierna i de dokument som valts ut. Med tanke på bredden av DL influenser, Web of Science, en tvärvetenskaplig databas som indexerar forskningsartiklar från ledande tidskrifter över ämnesområden, undersöktes också för att utöka sökområdet till rimliga DL applikationsområden (t.ex. utbildning, hälsa). Sökfrågans sammansättning. Den primära sökningen gjordes genom en Boolesk logisk kombination av (digitalt bibliotek eller elektroniskt bibliotek) och (utvärdering eller bedömning eller prestanda eller utfall). Men specifika sökningar varierade mellan databaser beroende på en viss databass regler för sökningar. Digitala arkiv, som en framväxande form för att samla in, hantera och ge tillgång till digitalt innehåll, användes inte i sökfrågan eftersom det är för snävt fokuserad (Basefky, 2009) och har andra gränser än DL (Bearman, 2007). Dessutom har det behandlats mycket mindre i litteraturen (en sökning i Web of Science den 3 juni 2009 tar upp 2301 register för digitala bibliotek/bibliotek med 1990 som det tidigaste publiceringsåret medan endast 61 register för digitala arkiv / arkiv med 2001 som det tidigaste publiceringsåret). Samtidigt är kombinationen av "prestanda" och "utfall" med "utvärdering" och "bedömning" med hjälp av Booleska Or-operatören helt enkelt för att utöka sökområdet för litteratur. Pappersval. De dokument som valdes ut för översynen begränsades till studier med representativa analyser eller resultat om ramar, metoder eller kriterier för DL-utvärderingar. Till slut valdes 155 papper ut för att uppfylla kravet. Motiveringen för urvalet är helt enkelt kopplad till forskningsmålet, det vill säga att utveckla en holistisk modell för DL-utvärdering. Även om metoderna och ramarna i första hand fungerade som referenspunkter för denna forskning, användes de kriterier som identifierats från litteraturen i den senare kortsorteringen (CS) under intervjuerna och för diskussionen om nya DL-utvärderingskriterier som identifierats från denna forskning. av de litteraturgransknings-kriterier som användes för att utveckla ett intervjuprotokoll i det efterföljande forskningssteget kan hittas på denna ihållande URL: http:// hdl.rutgers.edu/1782.2/rucore10001600001.ETD.17104. Intervjudeltagare. En urvalsmetod användes för att välja ut nio DL-experter som sannolikt skulle ge insiktsfulla tankar om DL-kvalitets- och prestandaindikatorer. Tre expertgrupper (dvs. administratörer, utvecklare och forskare) med tre i varje grupp deltog i forskningen. Dessa experter rekryterades från biblioteksskolan och biblioteken vid ett universitet på USA:s östkust. För att bli intervjudeltagare krävdes omfattande kunskaper om DL och tillräcklig erfarenhet av att utveckla, administrera eller bedriva forskning om DL. Särskilt bör en behörig DL-forskare åtminstone ha publicerat en uppsats eller undervisat i en kurs på DL. En behörig DL-utvecklare bör ha erfarenhet av att utforma eller genomföra minst ett DL-projekt. Och en behörig DL-administratör bör vara den vars främsta uppgift är att övervaka genomförandet av minst en DL. Efter att ha erkänt begränsningen av valet av deltagare från en enda institution gjorde jag stora ansträngningar för att öka mångfalden av synpunkter genom att uppmana deltagare med varierande bakgrund. Till exempel, medan en DL forskare deltagare var en expert på interaktion i DL-biblioteket, de andra två specialiserade på tekniska och kulturella aspekter, respektive. Dessutom använde jag två strategier för att hjälpa deltagarna att utarbeta mer DL utvärderingskriterier: a) använda bakgrundsspecifika frågor i början som sonder för att få dem att tänka mer på DL kvaliteter senare och b) använda de kriterier som identifierats från litteraturen i CS som prover för att locka fler deltagares egna kriterier. Datainsamling. Under juni–oktober 2005 genomfördes halvstrukturerade intervjuer för att samla in de nio DL-aktörernas perspektiv på DL-kriterier. Jag intervjuade varje deltagare en gång i ungefär en timme. I början av varje intervju ombads han eller hon att läsa och underteckna ett intervjumedgivandeformulär som gav tillstånd att bli intervjuad och att bli inspelad. De nio intervjufrågorna ställdes i samma syfte för att minimera snedvridningen av instrumenten (instrumentet finns tillgängligt på http://hdl.rutgers.edu/1782.2/rucore10001600001.ETD. 17104), särskilt artikel 2.1 a och b i bilaga I till förordning (EG) nr 847/96. Efter ett par bakgrundsrelaterade frågor var specifika frågor för att få deltagarnas perspektiv på de kriterier som kunde, eller borde, användas i DL-utvärderingen. Vart och ett av DL-kriterierna var inriktat på en given DL-nivå, allt från innehåll, teknik, gränssnitt, tjänst, användare till sammanhang. För varje DL-nivå användes förutom de svar på frågor (QA) under vilka intervjuarna fritt talade om DL-utvärderingskriterier en kortsorteringsteknik (CS-teknik) för att rangordna flera kriterier som valdes ut från litteraturgranskningsresultaten, baserat på deras frekvens. Antalet CS-kriterier för varje nivå begränsades till 8-11 för hanterbara och meningsfulla resultat, vilket framgår av en tidigare pilotstudie. Alla deltagare sorterade dessa kort utifrån sin uppfattade betydelse av varje kriterium för utvärdering på DL-nivå. Vid sorteringen av korten uppmuntrades de att hänvisa till baksidan av ett kort för att definiera kriteriet. Dataanalys. Kvalitativ programvara för dataanalys, Atlas.ti, användes för att utveckla ett kodsystem och för att tilldela lämpliga koder till meningsfulla berättelser. Det ursprungliga kodningsschemat utvecklades genom att man införlivade resultaten från litteraturgranskningen och en pilotintervju, och sedan tillämpades det i axialkodningen av de nio intervjuutskrifterna. Systemet var organiserat i sju kategorier: en för DL-konstruktioner och sex för DL-nivåerna, vilket Saracevic föreslog 2000. En öppen kodningsteknik användes för att identifiera nya kategorier som inte ingick i det ursprungliga systemet. Efter att den första kodningskörningen var klar utfördes rengöringar för att ta bort mindre ofta nämnda kriterier eller för att sammanfoga dem till de närmaste vid behov, mot bakgrund av Auerbachs och Silversteins metodologiska förslag (2003). För att säkerställa kodningskonsistens mellan utskrifter har en uppsättning regler tagits fram för att vägleda kodningsprocessen. Dessutom utförde kodaren (dvs själv) iterativ kodning omkodning tillförlitlighet kontroll tills två på varandra följande kodningskörningar för varje kategori nådde en 70% eller högre konsistens. Kodaren upprepade att kodningen körs oberoende (dvs. utan hänvisning till tidigare kodningsresultat men med samma ursprungliga kodningsschema och med två på varandra följande kodning som skiljer sig från varandra i minst en månad). Dessutom genomfördes omkodningsprocesserna endast för de kategorier med mindre än 70 % överensstämmelse jämfört med föregående körning. Så småningom utfördes fyra kodningskörningar innan alla nådde tillförlitlighetsgränsen. Sedan undersökte jag frekvensfördelningsmönster för alla koder (kriterier) inom och mellan de sex DL-utvärderingsnivåerna samt bland de tre intressentgrupperna. Samtidigt gjordes en jämförelse mellan kodfrekvenserna och motsvarande CS-resultat för att undersöka intern tillförlitlighet hos enskilda intervjuare. Jag skickade också dataanalysresultaten tillbaka till intervjupersonerna för "medlemskontroll" och fick inga förfrågningar om större ändringar. Kriterierna i den slutliga förteckningen skulle selektivt tas med i det efterföljande enkätformuläret för ytterligare bekräftelse från fler svarande från mer heterogena intressentgrupper i DL. De övriga fyra intressentgrupperna rekryterades från olika akademiska och professionella listserves. Tabell 1 ger en kort beskrivning av listreserverna. De akademiska listservs tenderade att ha fler DL forskare medlemmar, och de professionella kan ha fler DL administratör, utvecklare och bibliotekarie deltagare. Samtidigt var motiveringen till urvalsramen för allmänna användare att fakulteter och studenter från dessa institutioner tenderar att ha större möjligheter att använda och bli bekanta med DLs och därmed ha mer insiktsfulla perspektiv på betydelsen av utvärderingskriterier. Dessa urvalsramar användes endast för att identifiera och rekrytera olika intressenter. Den slutliga intressenttillhörigheten i dataanalysen bestämdes av deltagarnas självrapportering i enkäten. Datainsamling. Under april–maj 2006 spelade en online-undersökning in deltagarnas uppfattning om viktiga DL-utvärderingskriterier. En dragning för digitala enheter och tackgåvor användes som incitament för att öka svarsfrekvensen. En stor andel av de tillfrågade (87 %) angav sina namn, samt e-postadresser och e-postadresser för att få gåvor och resultat av dragningen. Personlig information tyder på en låg möjlighet av dubbla svar (dvs. mycket få personer fyllde i enkäten mer än en gång). Frågeformuläret var indelat i sju avsnitt, varav den ena för demografi, och den andra sex för de viktningar som fastställts för de kriterier som identifierats från prospekteringsstadiet med antingen hög eller minst betydelse perception av de intervjuade. Varje vikt-klassning avsnitt motsvarade en DL nivå, som beskrivs av Saracevic (2000). Figur 2 visar ett urval undersökning avsnitt som visar rubriken och de första flera frågorna. Rubriken gav en förklaring på den givna nivån DL-utvärderingen och instruktionen om hur undersökningen skulle göras, bland annat genom att använda en mus-över-åtgärd för att definiera ett kriterium (se den lilla rutan till vänster om figuren i slutet av avsnittet. 7-punkts Likert-skalan varierade från 1 (oväsentligt alls) till 7 (extremt signifikant). Alternativet "inget yttrande" gavs också. Dessutom användes varningsfönster för att säkerställa att deltagarna avslutade alla sektioner och för att förhindra att värden saknades. Förloppsstänger indikerade den färdiga/oavslutade delen av undersökningen. SPSS användes för att analysera datan. Metoder och standardavvikelser jämfördes för en förteckning över viktiga kriterier. Dessutom genomfördes ett enkelriktat ANOVA-test, en allmänt vedertagen statistisk teknik för att undersöka skillnader i medelvärden för en enda variabel som hör samman med olika grupper, för att undersöka skillnader mellan grupper när det gäller uppfattning om kriteriernas betydelse (den enda variabeln i detta forskningssammanhang).ANOVA har styrka att undersöka om gruppmedel skiljer sig avsevärt och är svagt när det gäller att upptäcka vilken grupp som innebär att de skiljer sig från varandra. I de fall där skillnaderna mellan grupperna identifierades användes därför den metod som användes för att ytterligare identifiera de grupper som bidrog till skillnaderna. Den stora provstorleken i undersökningen ökar robustheten hos testet som avviker från normalitet. Anställningen av det parametriska testet bör inte allvarligt bryta mot antagandena, som Glass, Peckham, & Sanders resultat (1972) antyder. Digitalt bibliotekssystem. Giltigheten hos den modell som konstruerats prövades genom faktisk DL-användning. Webbplatsen för Rutgers universitetsbibliotek (RUL) (http://www.libraries. Mattor.edu/) var det operativa DL-system som användes för testning. Valet gjordes av följande två skäl: a) Lättheten att få försöksdeltagare som representerar olika och olika intressentgrupper och b) sannolikheten för försöksdeltagarnas förtrogenhet med systemet som en fördel av att kunna tillhandahålla mer erfarenhetsbaserade och kunskapsbaserade perspektiv på viktiga kriterier för DL-utvärdering. Som påpekats av flera DL-forskare (t.ex. Borgman, 1999; Saracevic, 2000), hittills finns det ingen överenskommen DL definition. Den kaotiska situationen är också relaterad till en debatt om huruvida en bibliotekswebbplats kan betraktas som en DL. Enligt min åsikt kan en universitetswebbplats vara en typ av DL av följande två skäl. För det första, genom att jämföra typiska funktioner på en representativ bibliotek webbplats (t.ex., RUL) med DL definition som föreslås av Digital Library Federation (se tabell 2 ), kan man se att den förra är i huvudsak jämförbar med den senare. Speciellt kan RUL-webbplatsen ses som bibliotekens webbnärvaro eftersom webbplatsen innehåller ett tydligt uttalande om det organisatoriska uppdraget, en väldefinierad användargemenskap och en presentation av dess organisatoriska strukturer och resurser. Samtidigt förser RU-studenter, lärare och andra RU-anslutna samhällsmedlemmar med lättillgängliga och ekonomiskt tillgängliga resurser, inklusive licensierade databaser och lokalt utvecklade, rika digitala samlingar (t.ex. New Jersey Digital Highway) som väljs, organiseras och integreras, samt underhålls av specialiserad personal. Från webbplatsen, fakulteten Digitala bibliotek är organisationer som tillhandahåller resurser, inklusive den specialiserade personalen, att välja, struktur, erbjuda intellektuell tillgång till, tolka, distribuera, bevara integriteten hos, och säkerställa uthållighet över tiden av samlingar av digitala verk så att de är lätt och ekonomiskt tillgängliga för användning av en definierad gemenskap eller grupper av samhällen. och studenter kan inte bara söka efter fysiska bibliotekssamlingar utan även få tillgång till digitala verk. Samtidigt kan de lätt söka intellektuell hjälp online från specialiserade bibliotekarier. För det andra, att dra full nytta av nätverksteknik, DLs få sina styrkor genom att integrera distribuerade resurser från olika digitala arkiv. En DL kräver inte nödvändigtvis att alla dess samlingar finns i en enda lokal server. Med tanke på de enorma investeringarna i ett bibliotek för att licensiera kommersiella e-resurser med fulltext och koppla dem till lokala system är det dessutom orättvist att isolera alla dessa resurser från webbplatsen, som vanligtvis tjänar som föregångare för biblioteket som blir digitalt. Det är integrationen av webbplatsen och de resurser som gör en digital version av biblioteket. Under sommaren 2006 rekryterades heterogena grupper av intressenter som försöksdeltagare. Grupperna bestod av allmänna användare, forskare, bibliotekarier, administratörer och utvecklare. Medan allmänna användare rekryterades på plats i de två biblioteken (humanities and social science library and science and engineering library) vid ett universitet på USA:s östkust, uppmanades de fyra sistnämnda deltagarna genom sändlistor över universitetsbiblioteken och individuell e-postkommunikation. När det gäller rekryteringen på plats kontaktade författaren potentiella deltagare när de kom till biblioteket och började använda bibliotekets webbplats. Medan urvalskriterierna för grupper av administratörer, utvecklare och forskare förblev desamma som för intervjun, var bibliotekarierna referensmedlemmar i universitetsbiblioteken vars främsta uppgift var att använda webbplatsen för att hjälpa och vägleda biblioteksanvändare att hitta information och bibliotekssamlingar. Dessa försöksdeltagare ombads att förbereda ett sökämne för att hitta relevant information via bibliotekets webbplats. Datainsamling. Deltagarnas uppfattning om viktiga kriterier för bibliotekets utvärdering av webbplatsen samlades in genom ett frågeformulär efter sökningen. Frågeformuläret omfattade alla kriterier från den holistiska DL-utvärderingsmodellen, plus några som uppfattades som minst viktiga av enkätdeltagarna. Införandet av de minst viktiga kriterierna tjänar som ytterligare en undersökning om huruvida dessa kriterier fortfarande anses vara de minst viktiga i den verkliga DL-användningen. För varje kriterium ombads deltagarna att läsa ett uttalande om kriteriet, och sedan kontrollera det lämpligaste svaret i förhållande till deras sökupplevelse med bibliotekets webbplats. Ett urval uttalande var: "Digitala gränssnitt bör utformas på ett sätt som dess väsentliga element (t.ex., färg, layout, teckensnitt, bakgrund, terminologi användning) är konsekventa mellan sektioner och sidor." Deltagarna kunde välja något av de tre alternativen, det vill säga "inte tillämpligt på mitt fall", "Jag vet inte", och betydelse betyg på en 6-punkts Likert skala från 1 (minst viktigt) till 6 (viktigaste). Förutom att deltagarna uppfattades som viktiga i förhållande till de förvalda kriterierna uppmuntrades de också att skriva in sig i öppna sektioner för att uppfatta betydande funktioner på platsen som hade hjälpt (eller hindrat) dem i arbetets genomförande. De uppmuntrades att ägna särskild uppmärksamhet åt information, gränssnitt och olika funktioner på webbplatsen i stället för de funktioner som tillhandahålls av icke-site kommersiella databaser som licensierats av biblioteken. Dataanalys. Återigen användes SPSS för att analysera fördelningsmönstren för deltagarnas viktklassificeringar och för att identifiera gruppskillnader mellan intressenterna. Deltagarnas svar "Jag vet inte" behandlades som saknade data eftersom de inte hade någon betydelse för betydelsen av ett kriterium. Deras svar "inte tillämpligt på mitt fall" kodades som noll, och de inkluderades i frekvensanalysen, men inte i de beskrivande analyserna och slutsatserna (ANOVA), eftersom inkluderingen kunde förvränga medelpoängen och utvidga standardavvikelsen (SD). Dessutom hade dessa svar helt olika betydelser jämfört med de viktiga värderingarna. Resultaten jämfördes med resultaten från bekräftelsestadiet för att undersöka om de viktiga kriterierna från bekräftelsestadiet fortfarande ansågs vara viktiga när DL-aktörerna interagerar med den operativa DL och om skillnaderna mellan grupperna fortfarande föreligger. Fynden rapporterar demografiska uppgifter om intervju-, undersöknings- och försöksdeltagarna, likheten och divergensen mellan deras upplevda mest och minst viktiga DL-utvärderingskriterier och den föreslagna holistiska DL-utvärderingsmodellen när det gäller likhet och divergens. Intervju deltagare-exploration skede. Författaren intervjuade nio DL-aktörer, däribland tre DL-administratörer (IA1, IA2 och IA3) och tre DL-utvecklare (ID1, ID2 och ID3) från biblioteken vid ett universitet på USA:s östkust och tre DL-forskare (IR1, IR2 och IR3) från biblioteket och informationsvetenskapsprogrammet vid samma institution. Undersökningen deltagare-bekräftande skede. Totalt har 434 enkätdeltagare avslutat undersökningen, varav 431 var användbara. Av dessa 431 deltagare självrapporterade 159 (37%) sina primära roller som bibliotekarier och 158 (37%) ansåg sig vara allmänna användare. Dessa två intressentgrupper utgjorde 74 % av det totala svaret på enkäten. Samtidigt uppgick DL-forskare, utvecklare och administratörer till 53 (12 %), 36 (8 %) respektive 25 (6 %). Skillnaden i gruppens urvalsstorlek är troligen förknippad med populationsvariansen. Vanligtvis är antalet DL-administratörer, utvecklare och forskare mindre än antalet bibliotekarier och användare. Ungefär hälften av deltagarna i undersökningen (220, 51 %) var 30–49 år, 93 (22 %) var över 50 och 118 (27 %) var 20–29 år. Könsfördelningen var 167 (38,7 %) män och 264 (61,3 %) kvinnor och fördelades nästan lika mellan de fyra intressentgrupperna utom bibliotekarierna. Bibliotekariegruppen hade fler kvinnor (114, 72 %) än män (45, 28 %). När det gäller den högsta utbildningsnivån har majoriteten av deltagarna avlagt examen (308, 71 %) eller doktorsexamen (100, 23 %). Endast 23 (5%) hade baccalaureat eller lägre grader. Den skeva utbildningsnivån kan kopplas till urvalsramarna för universitetsmiljöer för användare och av akademiska och professionella listservs för de övriga fyra grupperna som är mer benägna att hålla högre examina. Ämnesbakgrunderna visade 209 (48 %) för samhällsvetenskap, 130 (30 %) för vetenskap, 79 (18 %) för humaniora och konst och 13 (3 %) för övriga. De flesta enkätdeltagare (314, 73 %) hade sökt online i mer än 3 år. Undersökningen lockade även utländska deltagare. Av de 367 (85 %) deltagare som rapporterade sina länder var 310 (85 %) från Förenta staterna och 57 (15 %) från 21 andra länder, däribland Kina (16), Storbritannien (7), Tyskland (3), Grekland (3), Spanien (3), Nya Zeeland (3), Indien (2), Egypten (1), Finland (1), Italien (1), Japan (1), Kenya (1), Korea (1), Mexiko (1), Sverige (1). Experimentdeltagarna och deras sökuppdragsverifieringsstadium. Trettiotre DL-aktörer från ett universitet på USA:s östkust deltog i försöket. Av dessa rapporterade sig 11 (33%) som allmänanvändare och 7 (21%), 6 (18%), 5 (15%) och 4 (12%) som bibliotekarier, utvecklare, forskare och administratörer. När det gäller åldersfördelning var mer än hälften av deltagarna (19, 58 %) över 40 år, av vilka 11 (33 %) deltog i 50-årsåldern. Dessutom var 5 (15 %) deltagare i 30-årsåldern, 6 (18 %) i 20-årsåldern och 3 (9 %) under 20. Sammansättningen av ämnesområden för dessa deltagare var 11 (33%) för samhällsvetenskap, 10 (30%) för vetenskap och 7 (21%) för humaniora och konst. Mer än hälften av deltagarna (19, 58%) hade använt universitetsbiblioteket Web i mer än 3 år och över tre fjärdedelar (25, 76%) använde webben dagligen till veckobasis. Även om deltagarna kom på sina egna sökuppgifter av olika ämnen, deras sökuppgifter var i huvudsak att antingen hitta böcker / artiklar / bilder / andra webbresurser om ett visst ämne (26 fall, 79%) eller lokalisera kända objekt (7 fall, 21%). Det var liten skillnad mellan grupperna när det gäller olika typer av sökuppgifter. Intervjudeltagarnas perspektiv Tabell 3 listar Hållbarhet (4.0) Produktivitet (9; 6) Organisatoriskt samarbete (30; 6) Integritet (4.2) Tillgänglighet (5.2) Hållbarhet (22; 6) Upphovsrättsefterlevnad (5.1) QA = frågesvar; CS = kortsortering. *Texterna i fetstil är de viktiga kriterier som dök upp i både QA och CS topp fem ranking. Kriterier från den öppna frågeställningen och KS, som grundar sig på hur ofta ett visst kriterium nämns (de första siffrorna i parentesen), antalet intervjuade som nämnde kriteriet (de andra siffrorna i parentesen) eller den genomsnittliga rangordningsordningen bland de intervjuade i KS. Uppgifterna är grupperade i de sex DL-nivåerna. Kriterierna på sorteringskort för varje DL-nivå valdes ut på förhand från litteraturgranskningsresultaten. Antalet CS-kriterier för varje nivå var begränsat till 8-11. Däremot fanns det inga sådana förval eller begränsningar av kriterierna för kvalitetssäkring. Vilka kriterier och hur ofta de nämndes var öppna för intervjuarna när de svarade på frågor, till exempel: "Om du ombads att utvärdera digitalt innehåll, inklusive digitalt objekt, information, metainformation och insamling, vilka kriterier skulle du använda?" Dessutom följde CS alltid den öppna QA för en given DL-nivå. Kriterier som i hög grad nämndes av en intervjuare kanske därför inte finns med på sorteringskorten. Under den öppna kvalitetssäkringen kanske en intervjuare inte ens nämner ett kriterium som han eller hon rankat högt under CS. Avskrifterna visade att vissa viktiga kriterier uteslöts i den öppna kvalitetssäkringen på grund av tillsyn. Till exempel, efter att ha presenterat sorteringskort av tekniknivå utvärderingskriterier, IR3 sade, "Tillförlitlighet, Jag borde ha tänkt på det. Säkerhet, det är viktigare. Jag antar att jag glömde bort säkerhetsfrågorna..." Förutom återkallandeeffekten kan variationen i det totala antalet kriterier mellan CS och QA och uppkomsten av nya kriterier i QA också ha orsakat skillnaden. Därför skulle det vara mer meningsfullt att titta på delade kriterier mellan QA och CS snarare än att leta efter skillnader, även om en potentiell orsak till ett par ytterligheter (t.ex., personalisering för gränssnittet, användning / återanvändning för användarnivå och produktivitet av gemenskapens medlemmar för sammanhanget) kan vara värt att undersöka. Med tanke på det primära forskningsmålet, som är att identifiera vilka kriterier som ska användas för DL-utvärdering, fokuserade analyserna mer på de viktiga kriterier som uppfattas snarare än de oviktiga. I allmänhet över hälften av de viktiga kriterierna (se texterna i fetstil i tabell 3 Undersökningsdeltagarnas perspektiv. I tabell 4 sammanfattas de fem viktigaste kriterierna och det lägsta kriteriet för var och en av de sex DL-nivåer som deltagarna i undersökningen uppfattar. Rankningen av betydelsen baseras på beskrivande data, som inkluderar medelvärdet (utanför parentesen) som den primära faktorn och SD (inom parentesen) som den sekundära. Endast när två kriterier är identiska i genomsnitt poäng, kommer rollen av SD att spela. Ju större är medelvärdet och ju mindre SD, desto högre ranking. I huvudsak uppfattas även de viktiga kriterier som intervjuarna uppfattar som betydande av deltagarna i undersökningen, och det är också de minst betydelsefulla kriterierna. För utvärdering av innehållsnivån var användbarheten för målgruppen konsekvent högst rangordnad. Det dök upp i de fem främsta listorna i undersökningen, liksom i intervjun CS och QA. Enhälligt ansåg intervjuarna och deltagarna i enkäten att informationens koncishet var det minst viktiga kriteriet. Utvärderingskriterierna för digital teknik rangordnades också konsekvent i de två studierna. Tillförlitlighet, effektivitet och systemkompatibilitet förekom enhälligt i enkätens topplistor samt i intervjun CS och QA. Både användarvänlighet och effektivitet var högt värderade i enkäten och intervjun QA-sektionen. När det gäller utvärdering av gränssnittsnivå rangordnades också alla högt rankade kriterier i både CS och QA-ase of use, ändamålsenlighet och lämplighet för målanvändare – högst upp i undersökningen. Attraktivitet, det minst viktiga kriteriet i intervjun, var fortfarande den näst lägsta i undersökningen. Resultaten för utvärdering av servicenivå är också konsekventa. Framför allt fanns tillgång till tjänster och integritet för informationssökningsvägen i de fem främsta listorna över intervjuerna CS och QA samt enkäten. På samma sätt var artighet det lägsta kriteriet i de tre listorna, förmodligen eftersom det inte direkt påverkar användarnas sökresultat. I motsats till den höga konsekvensen i de upplevda viktiga kriterierna på dessa fyra lägre nivåer visar DL-utvärderingskriterierna på användar- och kontextnivåer en stor skillnad mellan intervju- och undersökningsresultaten. För utvärderingar på användarnivå, medan framgång, effektivitet i uppgiften slutförande, och produktivitet användare dök upp i topplistorna för både undersökningen och intervjun, tillfredsställelse steg till toppen av undersökningslistan trots att dess rankning i intervjun som ett av de minst viktiga kriterierna. Samtidigt var vissa kriterier som var högt ansedda i intervjun (t.ex. inlärningseffekt och informationskunskap) inte högst upp på enkätlistan. Beteendeförändringar sjönk till det lägsta kriteriet. Detta hänger förmodligen samman med att användargrupper ingår i undersökningen. Användare tenderar att bry sig mer om de direkta effekterna av att använda en DL, såsom effektivitet och framgång i uppgiften slutförande, och mindre om de indirekta resultaten. Även om intervjupersonerna och undersökningsdeltagarna var överens om hållbarhet som det viktigaste kriteriet för att bedöma en DL på sin kontextnivå, var det osannolikt att de skulle ha en parallell uppfattning om betydelsen av DL:s utvidgade sociala effekter. Detta kriterium betraktades högt i intervjun QA, men det blev det minst viktiga kriteriet i undersökningen. Ett annat högt rankat kriterium (dvs. integritet till social praktik) i intervjun sjönk också till den minsta sekunden. Däremot var inkommande och utgående hyperlänkar (dvs. nätverkseffekt) i enkätdeltagarnas perspektiv i viss utsträckning viktiga, medan det var det lägsta kriteriet i intervjun QA och CS. När det gäller bedömningen av den lägre DL-nivån har flera fall av inkonsekvens mellan de två studierna också observerats. Till exempel var teknisk flexibilitet högt rankad i intervjun CS, men i undersökningen var det det lägsta kriteriet, möjligen eftersom kriteriet verkar vara av större intresse för DL-utvecklare än för användare, och införandet av användarnas åsikter i undersökningen bidrog till rankningen. Dessutom rangordnades de två lägsta kriterierna i intervjun (dvs. visningens kvalitet och säkerhet) högre i undersökningen. För DL-utvärdering av servicenivå fanns det bara en inkonsekvent uppfattning (dvs. klyftor mellan förväntan och perception).Den uteslöts från enkätens fem topplista medan den förekom i både CS- och QA-intervjuns toppresultat. Detta kan åter gälla deltagandet av allmänna användare i undersökningen som bryr sig mindre om luckorna. De tre intressegruppernas betydelse har identifierats i samband med intervjun. I tabell 5 förtecknas kriterierna för samförstånd och avvikelser från resultaten från KS. Anledningen till att använda CS istället för QA resultat var att kriterierna var identiska bland intervjuade i CS, och därmed redo för jämförelse. Däremot fanns det alltför stora skillnader i kvalitetssäkring i fråga om de kriterier som nämndes. Fastställandet av samförstånd eller skillnader baserades på en jämförelse av summan av rankningsvärdet från varje grupp för ett visst kriterium. Om det fanns något kriterium med det sammanlagda värdet större eller mindre med en faktor 2 över någon av de andra två grupperna, ansågs detta kriterium ha en avvikande rangordning mellan grupperna. Annars betraktades det som samförstånd. Till exempel är summan av rankningsvärdet för innehållsnytta för målgruppen 15, 5 respektive 13, för administratör, utvecklare och forskargrupper. Därför anses kriteriet vara mycket högre rankad av utvecklargruppen än de andra två och därför kategoriseras som olika. Sannolikt hade kriterierna med högre prioritet (t.ex. användbarhet av information, teknisk tillförlitlighet och gränssnittseffektivitet) större skillnader och mindre konsensus än de lägre rangordnade kriterierna (t.ex. koncishet, säkerhet och personalisering). Dessutom skilde sig servicenivån och användarnivån mindre (en av de fem bästa), medan de övriga fyra nivåerna hade två eller flera uppfattade viktiga kriterier med stor variation. Alla DL-utvärderingskriterier som ingår i undersökningen har inte statistiskt signifikanta skillnader mellan de fem intressentgrupperna i DL. ANOVA-resultaten visar att endast 11 av de 51 kriterierna (22 %) har statistiskt signifikanta skillnader mellan grupperna när det gäller kriteriernas betydelse. Tabell 6, en sammanfattning av ANOVA-resultaten, visar att kriterierna för service, gränssnitt och användarutvärdering var mer samstämmiga mellan grupperna när det gäller bedömningarna av betydelse, vilket ligger i linje med intervjuresultaten. Däremot hade bedömningskriterierna de mest gruppvisa skillnaderna. Scheffes post-hoc-testresultat visade att skillnaderna endast fanns bland några av de fem intressentgrupperna. Dessutom fanns det i första hand skillnader mellan de allmänna användarna och de andra intressentgrupperna, inklusive administratörerna (6 kriterier), bibliotekarierna (8 kriterier) och forskarna (2 kriterier). Vad administratörer, bibliotekarier eller forskare i hög grad uppfattade var ibland de som minst betraktades av användarna. Till exempel, till skillnad från de andra intressentgruppernas perspektiv, gynnades inte alla lämplighetskriterier för aspekter av digitalt innehåll, teknik och gränssnitt av de allmänna användarna. Medan administratörerna och bibliotekarierna ansåg att upphovsrätten uppfylldes och andra kriterier för utvärdering på kontextnivå, ansåg de allmänna användarna motsatsen. Omfattande insamling var det enda kriterium som hade högre ranking från användarna. Intressant nog fann man ingen signifikant effekt mellan utvecklarna och någon av de övriga fyra grupperna. Utöver de statistiskt signifikanta effekterna kan man också hitta gruppskillnader genom att jämföra de högsta kriterierna bland intressentgrupperna. Vissa kriterier finns på topp fem listor från alla intressentgrupper (se text i fetstil i tabell 7 ), medan de andra uppfattas som viktiga av vissa av grupperna. Till exempel hade innehållsutvärderingen tre kriterier (dvs. tillgänglighet, noggrannhet och användbarhet) som fick alla fem gruppernas betydelseuppfattningar. Administratörerna ansåg dock att informationens lämplighet och integritet var viktigare än lättförståelig, vilket fanns med på de fem främsta listorna över de fyra andra intressentgrupperna, men inte på administratörslistan. Dessutom visade sig informationens fullständighet och trohet endast i användarnas respektive utvecklarnas fem topplistor. Det efterföljande avsnittet om en holistisk modell för DL-utvärdering har utarbetats mer om samförstånd och skillnader mellan olika grupper. Det är uppenbart att tjänsteutvärderingen hade det största samförståndet mellan grupperna (100 %), och teknikutvärderingen fick det lägsta avtalet (29 %) med avseende på de fem högst rankade kriterierna. Avtalsfrekvensen för de övriga fyra DL-nivåutvärderingarna var 37 % för innehållet och sammanhanget och 50 % för gränssnittet och användaren. I intervjuerna fann man också lägre överenskommelser om teknikutvärderingen. Den bakomliggande orsaken kan förknippas med obekanthet
Nyligen utvecklade Zhang REF en "holistisk utvärderingsmodell för digitala bibliotek" för olika nivåer av utvärdering av digitala bibliotek enligt Saracevics sex nivåer, där de mest relevanta DL utvärderingskriterierna bland fem grupper av intressenter (administratörer, utvecklare, bibliotekarier, forskare, användare) identifieras och organiseras.
Developing a holistic model for digital library evaluation
{'venue': 'J. Assoc. Inf. Sci. Technol.', 'journal': 'J. Assoc. Inf. Sci. Technol.', 'mag_field_of_study': ['Computer Science']}