Detta papper utvärderar skalbar distribuerad krypning med hjälp av den geografiska partitionen av webben. Metoden bygger på förekomsten av flera distribuerade krypskyttar som var och en ansvarar för de sidor som tillhör en eller flera tidigare identifierade geografiska zoner. I verket behandlas en distribuerad krypare där tilldelningen av sidor att besöka baseras på sidans innehålls geografiska omfattning. För den första tilldelningen av en sida till en partition använder vi en enkel heuristisk som markerar en sida inom samma räckvidd som webbserverns geografiska plats. Under nedladdning, om analysen av en sida innehåll rekommenderar en annan geografisk räckvidd, sidan vidarebefordras till den väl fördelade webbservern. Ett urval av de portugisiska webbsidorna, som togs fram under 2005, användes för att utvärdera: a) sidnedladdningstid och b) overhead av sidor utbyte mellan servrar. Utvärderingsresultaten gör det möjligt att jämföra vårt tillvägagångssätt med konventionella hash-partitioneringsstrategier.
I ett tidigare arbete REF utvärderade vi en skalbar distribuerad krypning som stöds av webblänkstrukturen och en geografisk partitionering.
Geographical partition for distributed web crawling
{'venue': "GIR '05", 'journal': None, 'mag_field_of_study': ['Computer Science']}