I detta dokument redovisas en analys av webbplatser för de brittiska institutionerna för biblioteks- och informationsvetenskap. Inlink räknas av dessa webbplatser visade ingen statistiskt signifikant korrelation med kvaliteten på den forskning som utförs av dessa institutioner, kvantifierat med hjälp av institutionsbetyg i 2001 Research Assessment Exercise och citeringar i Google Scholar till publikationer som lämnats in för den övningen. Orsaker till denna brist på korrelation inkluderar: svårigheter i disambiguing avdelningar webbplatser från större institutionella strukturer, den relativt små mängden forskningsrelaterat material på avdelningar webbplatser, och begränsningar i de sätt som aktuella webb sökmotorer process kopplingar till webbadresser. Slutsatsen är att webometriska analyser på institutionsnivå för närvarande inte ger en lämplig teknik för att utvärdera den akademiska forskningens kvalitet och, mer allmänt, att standarder behövs för formatering av webbadresser om länkar ska bli fast etablerade som ett verktyg för webbplatsanalys. Nyckelord: Citationsanalys; Forskningsbedömningsövning; Webometrics Citationsanalys har under många år använts för att undersöka en rad olika fenomen inom informationsvetenskapen, såsom kartläggning av utveckling av nya forskningsområden, identifiering av formella och informella kopplingar mellan forskare i ett ämne och bedömning av forskningspåverkan [1] [2] [3] [4]. Tillkomsten av webben ledde snart till förslaget att "sittningar" eller "inlänkar", dvs. länkar mellan webbplatser, skulle kunna användas på ungefär samma sätt som konventionella bibliografiska citeringar [5, 6], dessa tidiga studier som leder till begreppet webometri [7] [8] [9]. Citationsanalyser har gjorts på flera nivåer, med studier av antalet hänvisningar till individer, forskargrupper, institutioner, institutioner och till och med länder. Liknande metoder utvecklades snabbt för analys av inlänkdata [10]. En tidig sådan studie var Thomas och Willett [11], som 1 Korrespondens till Peter Willett, Institutionen för informationsstudier, University of Sheffield, 211 Portobello Street, Sheffield S1 4DP, Storbritannien, p.willett@sheffield.ac.uk. Journal of Information Science, XX (X) 2007, s. 1-11 © CILIP, DOI: 10.1177/0165551506nnnnnn 2 undersökte webbplatserna för 14 biblioteks- och informationsvetenskapsavdelningar (LIS) i Storbritannien. Denna undersökning, nedan kallad Thomas-studien, omfattade ett försök att korrelera antalet länkar till institutionens webbplats med institutionens forskningskvalitet, vilket framgår av det betyg som den uppnådde i 1996 års forskningsutvärderingsövning (RAE) [12]. RAE är en regelbunden översyn av forskningsverksamheten vid varje institution vid varje universitet i Storbritannien, och det ger en av de viktigaste avgörande faktorerna för tilldelningen av statliga medel till högre utbildningsanstalter. RAE bygger på omfattande peer review och resultat i varje institution som uppnår ett numeriskt betyg, den högsta betyg som representerar "Kvalitet som motsvarar uppnåbara nivåer av internationell excellens i mer än hälften av den forskningsverksamhet som lämnats in och uppnåbara nivåer av nationell excellens i återstoden" [13]. RAE-kvaliteter har konstaterats korrelera väl med konventionella citeringstal, inte bara för LIS [14] [15] [16] utan också för många andra ämnen, t.ex. anatomi, arkeologi och genetik [17]; och man överväger nu att minska kostnaderna för RAE genom att använda prestandamått baserade på bibliometriska data som ett komplement, eller till och med ett alternativ, till de nuvarande förfarandena baserade på peer review [18, 19]. Thomas-studien kunde inte identifiera något statistiskt signifikant samband mellan inlänkräkningar och forskningsexcellens (kvantifierat enligt RAE-betyg), men efterföljande studier har varit mer framgångsrika när det gäller att påvisa signifikanta relationer på både institutions- och institutionsnivå [20] [21] [22] [23] [24]. Syftet med det arbete som redovisas här var att uppdatera Thomas-studien, med två specifika mål: att använda nyare och mer detaljerade data från RAE än vad som hade använts i den studien, och att avgöra om ett betydande samband mellan inlänkräkningar och forskningskvalitet nu kunde identifieras. Fullständiga detaljer om de experiment som utfördes här presenteras av Arakaki [25]. Fokus för studien var de institutioner som överlämnade sig till enheten för bedömning (UoA) 61 (Library and Information Management) för bedömning i 2001 års forskningsbedömningsövning (RAE2001). Thomas-studien (publicerad 2000 men utförd 1999) omfattade 14 LIS-avdelningars webbplatser, men många av de undersökta avdelningarna har genomgått genomgripande strukturförändringar, sammanslagningar med andra avdelningar eller subsumeras inom en större organisationsgrupp såsom en skola eller fakultet (en process som speglar situationen i USA [26] ). Samtidigt finns det institutioner som inlämnats till RAE2001 UoA 61 som inte beaktades i Thomas-studien, dessa fokuserar ofta sin undervisning och forskning på olika aspekter av det närbesläktade ämnet informationssystem. Av de 23 institutioner som lämnar in till UoA 61 erbjuder Queen Margaret University College och University of Central England (nu Birmingham City University) inte längre LIS kurser och vi diskuterar därför bara de återstående 21 organisatoriska enheter, som anges i tabell 1. I det följande kommer vi i allmänhet att hänvisa till dessa enheter som "avdelningar", trots det faktum (som diskuteras nedan) att vissa av dem i själva verket är skolor eller fakulteter.  Thomas-studien använde RAE-betyg som ett mått på kvaliteten på en institutions forskning, liksom många andra brittiska studier av forskningsgenomslag. En ny RAE (RAE2001) har ägt rum sedan Thomas-studien, men betygen från denna är nu daterade och återspeglar de framsteg som gjorts inom institutionsforskningen under perioden januari 1994–december 2000 (för ämnen inom konst och humaniora inklusive LIS; för andra ämnen är den period som omfattas av RAE2001 januari 1996–december 2000). Även om vi har använt RAE2001-betygen som ett mått på forskningskvalitet har vi också använt en annan åtgärd som, föreslår vi, bättre kan återspegla den senaste och nuvarande effekten av en institutions forskning. En viktig del i varje institutions RAE2001-inlämning var en lista över (normalt) fyra forskningsresultat (t.ex. tidskriftsartiklar, rapporter, böcker osv.) För varje anställd som ingår i ansökan skall dessa resultat väljas så att de på bästa sätt återspeglar den forskning som utförts av denna person under perioden 1994–2000. De valda resultaten för varje avdelning finns tillgängliga på webbplatsen RAE2001 (på http://www.hero.ac.uk/rae/), och vi har använt varje utdata i sin tur för en citeringssökning som täcker perioden 2001 till mitten av 2007, vilket ger det totala antalet citeringar till varje institutions valda utdata sedan RAE2001. Utgången i sig, liksom i RAE-klasserna, motsvarar således perioden före 2001, men hänvisningarna till Journal of Information Science, XX (X) 2007, s. 1-11 © CILIP, DOI: 10.1177/0165551506nnnnnn 3 resultat återspeglar effekten efter 2001 och därmed, föreslår vi, ger ett mer aktuellt mått på forskning kvalitet än RAE2001 betyg. Citeringsstudier har traditionellt använt Thomson Corp. Web of Knowledge databas eftersom detta under många år var den enda tillgängliga källan till citeringsdata. Under de senaste åren har det kommit ytterligare två datakällor som innehåller stora mängder citeringsdata -Google Scholar och Scopus (se t.ex. [27, 28] ) -och vi har valt att använda Google Scholar för de analyser som redovisas här. Huvudorsaken till detta val är att Web of Knowledge och Scopus fokuserar på tidskriftslitteraturen, medan ett stort antal av RAE2001 LIS-utgångar kom från konferenser eller andra icke-tidskriftkällor. Google Scholar är baserat på webben (eller åtminstone den del av den som uppfattas av Googles indexering programvara), och det ger därmed bättre citering täckning av icke-tidskrift material än Web of Knowledge. Det finns nu betydande belägg för att Google Scholar är en lämpligare datakälla för discipliner som i stor utsträckning använder sig av icke-tidskriftlitteraturen [29, 30], och den har jämförts för forskningsutvärderingar mot de universitetsbetyg som följer av utvärderingsövningen PerformanceBased Research Fund 2003 som genomfördes i Nya Zeeland [31]. De 21 avdelningarna i tabell 1 lämnade in sammanlagt 301 anställda, vilka lämnade in sammanlagt 1161 forskningsresultat. Citaten för varje utdata kontrollerades i Google Scholar, och sökningarna gjordes mellan den 11 juni och den 13 juli 2007. Citaten för varje produktion kontrollerades noggrant, eftersom det snart stod klart att det fanns många dubbla poster (vanligtvis orsakade av variationer i namnen på författare eller tidskrifter eller i titlarna på utgångarna) och att det ibland var nödvändigt att använda både amerikanska och brittiska stavningar för att hämta alla citeringar. Begränsningarna i Google Scholar för storskaliga bibliometriska analyser beskrivs i detalj av Meho och Yang [28]. Antalet länkar till webbplatser för varje institution erhölls genom att köra LexiURL Searcher, ett program som utvecklats av den statistiska Cybermetrics Research Group i School of Computing och IT vid University of Wolverhampton. Detta verktyg kan laddas ner fritt från forskargruppens webbplats på http://cybermetrics.wlv.ac.uk. LexiURL Searcher fungerar som en mellanhand genom att skicka användardefinierade frågor genom Applications Programming Interface (API) av en operativ webbsökmotor (Google och Yahoo! när detta arbete utfördes, men nu även Live Search) och sedan returnerar sökresultaten till användaren för inspektion och/eller efterföljande analys. Av de två sökmotorer som fanns tillgängliga, Google tillhandahåller en länk operatör som returnerar antalet inlänkar till en viss webbplats: men det visar bara en delmängd av dessa webbplatser, uppenbarligen för att förhindra webmasters från att manipulera sina webbplatsers ranking [32]. Följaktligen Yahoo! valdes som det forskningsverktyg som ska användas i kombination med LexiURL Searcher: LexiURL Searcher föredrogs framför Yahoo! Site Explorer för denna del av arbetet eftersom den förra bättre stöder komplexa frågor och genererar en utdatafil av de inlänkande webbplatser för efterföljande bearbetning. Ett exempel på en Yahoo! Fråga: (länk:http://www.slais.ucl.ac.uk ELLER länk:http://www.ucl.ac.uk/slais) -site:ucl.ac.uk Denna fråga hämtar sidorna med länkar som pekar på webbplatsen för School of Library, Archive and Information Studies vid University College London (UCL). Den ursprungliga, avgränsade delen av frågan återspeglar det faktum att webbplatsen kan nås via två olika webbadresser, medan den sista delen som föregås av minus operatören används för att ta bort självlänkar (dvs. de som genereras från någon sida under ucl.ac.uk domänen). Tillgången till två olika webbadresser – en där domännamnet motsvarar själva avdelningen (http://www.slais.ucl.ac.uk) och den andra där domännamnet motsvarar moderorganisationen (http://www.ucl.ac.uk/slais) – är av stor betydelse, vilket diskuteras närmare nedan. På samma sätt använde vissa avdelningar alternativa domännamn, t.ex. bton.ac.uk och lightton.ac.uk: båda alternativen ingick återigen i sökningen i sådana fall. En komplett Yahoo! fråga lagras som en textfil som fungerar som indata till LexiURL Searcher: programmet skickar frågorna till Yahoo!, tar emot resultaten och sedan genererar en textfil som innehåller de webbplatser som är kopplade till SLAIS webbplats. Journal of Information Science, XX (X) 2007, s. 1-11 © CILIP, DOI: 10.1177/0165551506nnnnnn 4 De två uppsättningarna data -Google Scholar citering räknas och LexiURL Searcher inlink räknas - har bearbetats med SPSS, med Spearman rank korrelationskoefficient används för att kvantifiera omfattningen av förhållandet mellan de variabler som ansågs. Efter korrelationsstudien undersöktes urval av de webbplatser som var kopplade till LIS-avdelningarnas webbplatser för att identifiera arten av den information som lagrats och de kopplingar som gjorts. Särskilt de sidor som var kopplade till De Montfort, London, Sheffield och Strathclyde webbplatser laddades ner från Yahoo! Site Explorer, och 30 sidor väljs slumpmässigt, utom när det gäller De Montfort som endast fick 19 länkar 2. Om det var möjligt att nå institutionens onlineinformation via mer än en webbadress, inkluderade provet en proportionell kombination av sidor som pekar på var och en av dem. Resultaten av citerings- och inlinkanalyserna listas i tabell 2 tillsammans med betygen RAE2001. Tabellen beställs i fallande ordning av det totala antalet citeringar i Google Scholar till de forskningsresultat som lämnas in av var och en av de 21 avdelningarna (den tredje kolumnen i tabellen); något olika rankningar erhålls om den normaliserade citeringen räknas (dvs. medelvärdena när genomsnittsvärden används över antalet anställda eller över antalet outputs). Som man kan förvänta sig finns det en väl markerad skev fördelning, med några av institutionerna som drar till sig den största delen av hänvisningarna: alltså fick de fyra främsta avdelningarna i tabell 2 6933 (61,8%) av hänvisningarna trots att endast 96 (31,9%) av personalen överlämnades till RAE. I själva verket är skevheten också markerad inom en avdelning, med fem fall (Aberystwyth, Glasgow, Staffordshire, University College London, och West of England) där en individs citeringar representerade minst 50% av de totala citeringar för den institutionen. Som noterats i inledningen har flera tidigare studier visat på starka korrelationer mellan citeringstal och RAE-poäng, och så är återigen fallet här. Värdena för Spearman rankkorrelationskoefficienten för korrelationen mellan RAE-grad och totala citeringar, genomsnittliga citeringar per medarbetare och genomsnittliga citeringar per output är 0,69, 0,69 respektive 0,70; alla dessa resultat är statistiskt signifikanta på 0,01-nivån av statistisk signifikans. För jämförelse, två tidigare studier (med något olika metoder) av brittiska LIS avdelningar beaktade korrelationer med RAE1992 grader: Oppenheim undersökning av 13 avdelningar rapporterade värden på 0,81 och 0,82 för Spearman korrelationer mellan RAE grader och totala citeringar och citeringar per anställd, respektive [15]; Seng och Willett undersökning av sju avdelningar rapporterade värden på 0,95 och 0,95 för dessa två Spearman korrelationer [14]. Det faktum att hänvisningarna till de nominerade resultaten är väl korrelerade med RAE2001-klasserna tyder på att de avdelningar som presterade bra i RAE2001 har fortsatt att ha en hög grad av genomslag sedan 2001. Det är därför inte orimligt att anta att samma avdelningar också kommer att fungera bra när resultaten av nästa RAE tillkännages i slutet av 2008. I den sista kolumnen i tabell 2 förtecknas inlänkräkningarna för var och en av de 21 avdelningarna. Det står klart att förhållandet till citeringar är mycket mindre väl markerat än i RAE-klasserna: värdet på Spearmankoefficienten för korrelationen mellan citeringar och inlänkar är så lågt som 0,05 (med värdet för korrelationen mellan RAE-klasserna och inlänkarna 0,11). Kontroll av tabell 1 kommer att visa att avdelningarna skiljer sig avsevärt i form och man trodde att detta kan ha påverkat inlänkräkningarna som erhölls. Specifikt kan institutionerna grupperas i tre breda klasser beroende på var LIS undervisning och forskning utförs: av en särskild enhet inom en skola eller fakultet (t.ex., Institutionen för informationsvetenskap är en del av fakulteten för vetenskap vid Loughborough University); av en särskild institution utan någon högre organisationsnivå (det enda exempel som identifierades var Institutionen för informationsvetenskap vid University of Wales, Aberystwyth); eller av en fakultet eller skola, utan någon underordnad organisationsnivå (t.ex. School of Computing, Matematisk och Information Sciences vid University of Brighton). Kontroll av tabell 1 visar att 2 De Montfort hade fått 20 länkar enligt tabell 2. Vid analysen av innehållet några veckor efter insamlingen av de initiala uppgifterna konstaterades dock att antalet var 19 istället, dvs. det fanns åtminstone en viss variation i inlänkräkningarna under studieperioden. Detta har ignorerats i diskussionen. Journal of Information Science, XX (X) 2007, s. 1-11 © CILIP, DOI: 10.1177/0165551506nnnnnn 5 att flera av den sista gruppen är multikomponent fakulteter som täcker en rad olika områden av studier (t.ex. Brighton nämns tidigare), medan två av dem (De Montfort University och University of Paisley) har fakulteter som involverar bara dator i deras namn. Vi har därför delat upp de olika organisatoriska enheterna i två klasser: "fakult-liknande" enheter som finns i multi-subjekt fakulteter eller skolor (Leeds Metropolitan, Northumbria i Newcastle, Salford, Staffordshire, West of England) och "avdelning-liknande" enheter som är baserade i specifika namngivna avdelningar eller enskilda fakulteter (resten). Spearmankoefficienter beräknades med hjälp av endast medlemmarna i var och en av de två grupperna, med de resulterande korrelationerna mellan citeringar och inlänkar som är 0,14 (fakultetsliknande) och 0,07 (institutionsliknande), dvs endast marginellt större än för hela uppsättningen 21 avdelningar. Ingen av de tre Spearman värden som beräknas här är betydande på 0,05 nivå av statistisk signifikans, och vi drar därför slutsatsen att det inte finns något betydande samband mellan en institutions forskningskvalitet (enligt hänvisningar till dess RAE-inlämnade publikationer) och dess webbnärvaro (som betecknas av länkar till dess webbplats). Bristen på ett samband mellan forskningspåverkan och inlänkräkningar noterades i Thomas-studien. Detta genomfördes dock vid en tidpunkt (1999) då många av de institutioners webbplatser som studerades fortfarande befann sig i ett tidigt utvecklingsstadium, och senare studier av Thelwall-gruppen identifierade betydande relationer på både institutionsnivå och institutionsnivå [20] [21] [22] [23] [24]. Våra resultat skiljer sig således mycket från vad som förväntades när vi påbörjade denna studie, och vi diskuterar nu tre möjliga orsaker till det observerade beteendet. Vi tror att huvudorsaken till våra oväntade resultat hänger samman med strukturen på webbadresser. Närmare bestämt är inlänken till en webbplats avgörande beroende av hur en institution organiserar sin webbplats och hur denna organisation samverkar med den nuvarande generationen sökmotorer. Länkoperatören som användes i våra sökningar returnerar antalet länkar till en viss sida, inte till en hel webbplats; med andra ord tar inte länkoperatören hänsyn till sidor som ligger hierarkiskt under den angivna webbadressen. Om det krävs länkar till alla sidor inom en webbplats ska länkdomänoperatören istället användas. Denna operatör fungerar dock endast med webbadresser som anges som webbplatshemsidor (t.ex. http://www.cis.strath.ac.uk eller http://www.slais.ucl.ac.uk) och fungerar inte med webbadresser som innehåller sökvägar (t.ex. http://www.strath.ac.uk/cis eller http://www.ucl.ac.uk/slais). Den senare situationen var fallet för de flesta av de webbplatser som förtecknas i tabell 1. Följaktligen är de siffror som anges i tabell 2 länkar till avdelningarnas hemsidor, en situation som klart är långt ifrån idealisk, eftersom en stor del av en avdelnings webbpåverkan kan bero på underordnade sidor lägre i hierarkin. För att ta ett extremt exempel finns det bara 516 länkar till hemsidan för Institutionen för data- och informationsvetenskap på Strathclyde, medan det inte finns mindre än 3865 länkar till hela webbplatsen (bestående av 20475 sidor). Det måste betonas att detta misslyckande med att inkludera länkar till underordnade sidor inte är en begränsning av LexiURL Searcher-programvaran: det är i stället helt enkelt det sätt som aktuella sökmotorer behandlar en sökfråga. Ett relaterat problem är att det helt enkelt kan finnas fler länkar till sidor på andra håll i en akademisk hierarki: till exempel fick institutionen på Brunel bara en enda länk, medan det fanns 95 länkar till dess förälder, Institutionen för informationssystem, Datorer och matematik, d.v.s., även om det finns en särskild institution, är det föräldraskolan som har lockat inlänkarna. Hittills har vi diskuterat detta problem rent tekniskt, och det finns ingen anledning till att ändringar i det sätt på vilket sökmotorer fungerar inte skulle kunna undanröja denna begränsning av nuvarande system. Google har till exempel nyligen meddelat att det kommer att möjliggöra inlink-baserad sökning av hela webbplatser [32], men anläggningen kommer endast att göras tillgänglig för registrerade webbmasters [33]. Denna förändring representerar ett steg bakåt eftersom denna anläggning var tillgänglig för alla i AltaVista programvara som användes för de flesta tidiga webometriska studier (inklusive de av Thelwall gruppen som har nämnts tidigare): som Bar-Ilan har noterat, prioriteringarna för kommersiella sökmotorföretag kanske inte återspeglar de av akademiska forskare [34]. Men även för framtida förändringar i sökmotorteknik, det finns ett mer allmänt problem här, viz bristen på standarder för strukturering av webbadresser. Bibliografisk kontroll, i alla dess manifestationer, har varit en av de viktigaste drivkrafterna i utvecklingen av bibliotekarierna och sedan av informationsvetenskapen, men det var först med inrättandet av MARC och AACR som globala standarder fastställdes för kategoriseringen av bibliografiska enheter. Jämförbara insatser görs nu för att kategorisera webbenheter genom att införa metadatastandarder. Dessa ansträngningar, som med vanlig bokkatalogering, har dock fokuserat på kategorisering av enskilda objekt snarare än Journal of Information Science, XX (X) 2007, s. 1-11 © CILIP, DOI: 10.1177/0165551506nnnnnn 6 om det mycket stora antalet objekt som kan bestå av en enskild webbplats, trots att länkar till en webbplats är ett typiskt exempel på metadata, dvs. data om data. På samma sätt som det inte finns något standard sätt att beskriva samlingar av bibliografiska objekt, dvs. bibliotek, så finns det inget standard sätt att beskriva samlingar av digitala objekt, dvs. webbplatser, trots det enorma och växande antalet av dem som finns och trots det ökande intresset för att analysera dem med rent automatiska medel. Denna studie har visat på en särskild konsekvens av denna brist på standardisering, men konsekvenserna är mer utbredda. Högskolorna kommer att vara angelägna om att se till att publikationer från deras personal får maximal synlighet, särskilt om länkbaserade verktyg skulle övervägas för användning i framtida RAE-liknande analyser. Cheferna för dessa institutioner skulle förmodligen bli förvånade om de insåg att även om institutionen för informationsstudier vid universitetet i Sheffield och universitetet i Sheffields avdelning för informationsstudier, till exempel, uppfattas som synonyma i den verkliga världen, kan webbplatser som motsvarar dessa två organisationsformer uppfattas mycket olika i den digitala världen. Denna skillnad har helt klart konsekvenser för de institutionella arkiv som i allt högre grad används för att lagra akademiska publikationer: det verkar inte orimligt att förvänta sig att man utvecklar företagsstrategier för att maximera synligheten för sådana arkiv och dokument där, i stort sett på samma sätt som kommersiella organisationer för närvarande försöker maximera sin rangordning i resultat från sökmotorer. Det finns två andra möjliga skäl till att det inte finns något betydande samband mellan forskningseffekter och inlänkräkning. För det första har vi tidigare noterat att det kan vara svårt att dela upp sidorna som representerar en institution från en större organisationsenhet, och att en institutions hemsida kan ha alternativa webbadresser. Relaterat till det senare är det faktum att en avdelning också kan ha andra webbplatser i samband med det på ett sätt som sannolikt inte kommer att identifieras från hemsidan av någon sökmotor. Till exempel beskrivs en stor del av den forskning om informationssökning och bibliotekarieverksamhet som bedrivs på författaravdelningen i Sheffield på http://ir.shef.ac.uk/ respektive http://cplis.shef.ac.uk/, platser som uppenbarligen inte är kopplade till den officiella institutionens hemsida på http://www.shef.ac.uk/is. Situationen i Sheffield kompliceras ytterligare av en alternativ webbplats på http://dis.shef.ac.uk. Vad är det med dig? Site Explorer identifierar 134 länkar till institutionens hemsida men inte mindre än 1751 länkar till denna alternativa hemsida, som är för en utvecklingsserver som har ett betydande antal underordnade sidor som är högt placerade (t.ex. Information Literacy Place på http://dis.shef.ac.uk/litracy har 199 länkar, 65 mer än den officiella avdelningen hemsida själv). Vi har inte inkluderat dessa länkar i siffrorna i tabell 2 eftersom de skulle förvränga Sheffields räkning jämfört med de andra avdelningarna, som mycket väl kan ha liknande tillhörande platser som vi var omedvetna om. Sådana händelser, som i detta fall åtminstone återspeglar den organisatoriska strukturen hos de servrar som ger tillgång till data, belyser återigen behovet av standardiserade namngivningsförfaranden som har diskuterats tidigare. För det andra måste vi ta hänsyn till vilken typ av kopplingar som utgör inlänken. Fyra avdelningar valdes ut för detta ändamål: De Montfort, UCL, Sheffield och Strathclyde, såsom beskrivs i avsnittet Metoder. Med tanke på länkarna till De Montfort representerade endast tre av länkarna (16 %) länkar baserade på akademiskt innehåll: ett tillkännagivande om en workshop om datorteknik (från universitetet i Leicester), nyheter om satellitprogramvara utvecklad på De Montfort (från en tysk TV-leverantör) och en blogg om biomedicinsk information. Alla de övriga 16 kopplingarna till webbplatsen De Montfort kom från företag som behöll speglade data från Open Directory Project. Kopplingarna till UCL var mycket olika, med inte mindre än 87% av dem till synes akademiska till sin natur. Exempel på länkande organisationer var Society of Qualified Archivists, Scientific Archivists Group, Association for Literary and Linguistic Computing, National Archives i Storbritannien och Kanada, och en rad platser som rör olika aspekter av humanities computing. Det stora flertalet av UCL:s länkar involverade ämnen där institutionen har ett väletablerat forskningsrykte. Andelen akademiskt relaterade länkar var fortfarande större (93 %) för Sheffield. Men även om det fanns några sidor relaterade till institutionens forskningsverksamhet (t.ex. bloggar om den osynliga webben och forskningsmetoder) fanns det många andra som inte kom in i den kategorin (t.ex. cv på nätet och universitetsbibliotekskataloger). Liknande kommentarer gäller Strathclyde: av 70 % av de akademiska länkarna kom de största bidragen från sidor om en KDE-konvention (en grafisk skrivbordsmiljö för Linux- och UNIX-arbetsstationer) som var värd för Strathclyde 2007 och från bloggar om allmänna datavetenskapliga ämnen. Vi har bara använt fyra av avdelningarna för innehållsanalys men den observerade bristen på passform mellan innehåll och inlänkar noterades i början av webometri [11, 35] och saker och ting har tydligt förändrats lite sedan dess. Det är fortfarande en öppen fråga om varför så är fallet, trots upprepade förfrågningar om studier av orsakerna till hyperlänkning [36, 37], medan det har förekommit många sådana studier av orsakerna till hänvisning (som nyligen granskats av Bornmann och Daniel [38]. Journal of Information Science, XX (X) 2007, s. 1-11 © CILIP, DOI: 10.1177/0165551506nnnnnn 7 För att sammanfatta: aktuella datainsamlingsverktyg får inte räkna vad som faktiskt krävs (dvs. länkar till webbplatser snarare än sidor); institutionswebbplatser kan inte alltid identifieras tillräckligt exakt för kvantitativ analys; och länkning utförs ofta för ändamål som inte har något samband med akademisk forskning. Sammantaget innebär dessa tre faktorer att det är högst osannolikt att inlänken till institutionswebbplatser ger ett robust mått på kvaliteten på institutionsforskningen. En liknande brist på korrelation har noterats för europeiska forskargrupper inom life sciences, snarare än för hela avdelningar, i den senaste tidens arbete av Barjak och Thelwall [39]. Ett annat problem, som inte studeras här, är att det verkar finnas betydande skillnader mellan institutionernas webbplatser i olika ämnen och länder [40], vilket ytterligare skulle komplicera användningen av inlinkdata för tvärvetenskapliga och multinationella utvärderingar av forskningsverksamhet. I detta dokument har man försökt uppdatera en tidigare studie av länkar till LIS-avdelningarnas webbplatser i Förenade kungariket och om förhållandet mellan inlänkar och data från RAE. Vi har inte kunnat identifiera något sådant förhållande på grund av den mycket ofullständiga och potentiellt vilseledande karaktären hos de inlänkade uppgifter som kan samlas in på avdelningsnivå (även om detta kan vara ett mindre problem när uppgifter aggregeras över en institution eller ett land). Vi föreslår därför att antalet länkar (som beräknas med hjälp av för närvarande tillgängliga verktyg) inte ger en lämplig resultatindikator för kvantifiering av den akademiska forskningens påverkan på institutionsnivå. Vi föreslår också att åtminstone en del av de problem som vi har identifierat skulle kunna lindras av utvecklingen av standarder för namngivning av webbplatser. Tackar. Vi tackar Prof. Mike Thelwall för tillhandahållandet av LexiURL Searcher programvara och för råd om dess användning; och honom, Prof. Nigel Ford och domarna för hjälpsamma kommentarer om ett tidigare utkast av denna uppsats.
Brittiska LIS-avdelningar analyserades också webometriskt av Thomas och Willet [6] och av Arakaki och Willet REF.
Webometric analysis of departments of librarianship and information science: a follow-up study
{'venue': 'J. Inf. Sci.', 'journal': 'J. Inf. Sci.', 'mag_field_of_study': ['Computer Science']}