I den här artikeln studerar vi problemet med att snabbt hitta och krypa på efemära nya sidor, d.v.s., för vilka användartrafiken växer riktigt snabbt direkt efter att de dyker upp, men varar bara i flera dagar (t.ex. nyheter, blogg och foruminlägg). Traditionella krypande politik ger inte någon särskild prioritet åt sådana sidor och kan därför krypa dem inte tillräckligt snabbt, och till och med krypa redan föråldrade innehåll. Vi föreslår därför en ny metriska, väl genomtänkt för denna uppgift, som tar hänsyn till minskningen av användarnas intresse för efemära sidor över tid. Vi visar att de flesta efemära nya sidor kan hittas på en relativt liten uppsättning av innehållskällor och föreslår en metod för att hitta en sådan uppsättning. Vår idé är att regelbundet rekrawla innehållskällor och krypa nyskapade sidor kopplade från dem, med fokus på högkvalitativt (i termer av användarintresse) innehåll. En av de största svårigheterna här är att fördela resurserna mellan dessa två verksamheter på ett effektivt sätt. Vi hittar den anpassningsbara balansen mellan kryp och rekrawls genom att maximera den föreslagna metriska. Vidare införlivar vi sökmotorklickloggar för att ge vår krypare en inblick i de aktuella användarkraven. Effektiviteten i vårt tillvägagångssätt demonstreras slutligen experimentellt på verkliga data.
Lefortier m.fl. REF studerade problemet med att krypa populära sidor (i termer av användarnas intresse) i rätt tid.
Timely crawling of high-quality ephemeral new content
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}