I detta dokument behandlas en aspekt av sökmotorernas indexkvalitet: index färskhet. Syftet är att analysera uppdateringsstrategierna för de stora sökmotorerna Google, Yahoo och MSN/Live.com. Vi gjorde ett test av uppdateringarna av 40 dagliga uppdaterade sidor respektive 30 oregelbundet uppdaterade sidor. Vi använde data från en tidsperiod på sex veckor under åren 2005, 2006 och 2007. Vi fann att den bästa sökmotorn när det gäller up-to-dateness förändringar genom åren och att ingen av motorerna har en idealisk lösning för index färskhet. Frekvensfördelningar för sidornas åldrar är skeva, vilket innebär att sökmotorer skiljer mellan ofta- och sällan uppdaterade sidor. Detta bekräftas av skillnaden mellan den genomsnittliga åldern på dagliga uppdaterade sidor och vår kontrollgrupp av sidor. Indexeringsmönster är ofta oregelbundna, och det verkar inte finnas någon tydlig policy för när man ska se över webbsidor. Ett stort problem som identifierats i vår forskning är fördröjningen i att göra krypade sidor tillgängliga för sökning, vilket skiljer sig från en motor till en annan. • Sökmotor användbarhet: Detta ger en feedback på användarens beteende och utvärderas genom användarundersökningar, laboratorietester, eller transaktionslogg analyser. Den aktuella studien behandlar endast en del av indexkvalitetsavsnittet. Vi anser att index färskhet är en viktig del av kvalitetsmätningen. Sökmotorer bör tillhandahålla aktuell information. Vi hoppas att resultaten från denna studie kommer att vara användbara för att vara en del av vår övergripande analys av sökmotorns kvalitet. Uppdatering med sökmotorer beror på flera faktorer. Först har vi den rena storleken på webben (se t.ex. [2, 7-9] och dess ständigt föränderliga innehåll. Nya sidor byggs, gamla sidor tas bort, och länkar ändras, alla i hög takt. Men på grund av tillväxten av webben har antalet gamla sidor som inte längre förändras också ökat avsevärt. Sökmotorer måste hitta sätt att visa för de användare sidor som uppfyller hans eller hennes up-to-dateness kriterier. I vissa fall kan äldre sidor vara till hjälp, men i de flesta fall skulle man anta att en användare föredrar de nuvarande. En undersökning utförd av Ntoulas, Cho och Olston [10] visade att ett stort antal webbsidor ändras regelbundet. Uppskattning av resultaten av studien extrapolerade över hela webben, författarna finner att det finns cirka 320 miljoner nya sidor varje vecka. Omkring 20 procent av dagens webbsidor kommer att försvinna inom ett år. Omkring 50 procent av allt innehåll kommer att ändras inom samma period. Länkstrukturen kommer att förändras ännu snabbare: Omkring 80 procent av alla länkar kommer att ha ändrats eller kommer att vara nya inom ett år. Även om de absoluta värdena kan vara föråldrade nu, resultaten visar hur viktigt det är för sökmotorerna att hålla sina databaser uppdaterade. Stora och snabba förändringar i webbens innehåll rapporteras också i [11] [12] [13] [14]. Bar-Ilan [15] studerar orsakerna till olika sökresultatsidor. Bland annat listar hon följande orsaker som är direkt relaterade till aktuellhet: • Vissa av sökmotorerna har flera frågemotorer eller databaser • Indexet är partitionerat • När kryparen uppdaterar sin databas, kan några av de tidigare besökta sidorna vara oåtkomliga på grund av kommunikation eller serverfel • Fluktuationer kan bero på ändringar i sökmotorernas indexeringspolicy eller i storleken på databaserna. Detta är viktiga faktorer som kan förklara inkonsekvenser i resultaten, som vi kommer att rapportera nedan. Ke, Deng, Ng och Lee [16] ger en bra överblick över de problem för sökmotorer som webbdynamiken ger upphov till. I Risvik och Michelsen [17] finns problem med att krångla och indexera till följd av webbdynamiken ur kommersiell sökmotors synvinkel. Det kan hävdas att varje sökmotoranvändare har upplevt 404 fel med sökmotorer (dvs. den sida som motorns länkar till en sida som inte längre är tillgänglig). Nyare studier [18, 19] visar att antalet av dessa fel är relativt lågt (för de 20 bästa resultaten, mellan 2,2 och 6,5 procent och för de 10 bästa resultaten, mellan 2,0 och 8,9 procent, beroende på sökmotor), men trots det är de en stor olägenhet [20], pp. 179-180 [21] som är ett resultat av olämplig färskhet i indexet. Men hur ska sökmotorer hålla sina index uppdaterade? Det är helt klart att ingen sökmotor kan uppdatera sitt fullständiga index dagligen. Detta har såväl ekonomiska som tekniska skäl, som vi kommer att diskutera ytterligare i nästa avsnitt. Det verkar som om man kommit överens om att sökmotorer ska indexera alla sidor i sina index i en cykel på en månad. I vår tidigare forskning kunde vi visa att detta inte gäller för de stora sökmotorerna Google och Yahoo, även för sidor vars innehåll uppdateras dagligen [5].Men frågan kvarstår: Ska sökmotorer hålla sig till ett sådant uppdateringsschema, eller kan äldre sidor hållas oindexerade under en längre tid? Vi kommer också att försöka finna ett svar på denna fråga. Detta dokument är organiserat enligt följande: För det första kommer vi att ge en kortfattad översikt över litteraturen om sökmotor fräschhet, sedan kommer vi att ange våra mål, och därefter kommer vi att beskriva våra metoder. Tyngdpunkten ligger på resultaten av den aktuella studien jämfört med vår tidigare studie [5]. I det sista avsnittet kommer vi att dra slutsatser och visa områden för ytterligare forskning.
Slutligen vill vi lyfta fram artikeln REF, där Lewandowski genomförde en studie under 3 år som analyserar uppdateringsstrategierna för olika sökmotorer på en uppsättning webbsidor.
A three-year study on the freshness of web search engine databases
{'venue': 'J. Inf. Sci.', 'journal': 'J. Inf. Sci.', 'mag_field_of_study': ['Computer Science']}