Den snabba tillväxten av den globala webben innebär aldrig tidigare skådade skalningsutmaningar för generella krypare och sökmotorer. I den här artikeln beskriver vi ett nytt hypertextinformationshanteringssystem som kallas en Focused Crawler. Målet med en fokuserad krypare är att selektivt söka ut sidor som är relevanta för en fördefinierad uppsättning ämnen. Ämnena specificeras inte med nyckelord, utan med hjälp av föredömliga dokument. Istället för att samla in och indexera alla tillgängliga hypertextdokument för att kunna svara på alla möjliga ad-hoc-frågor analyserar en fokuserad krypare sin krypgräns för att hitta de länkar som sannolikt är mest relevanta för krypningen. Det undviker irrelevanta regioner på webben. Detta leder till betydande besparingar i hårdvara och nätverk resurser, och bidrar till att hålla krypa mer uppdaterad. Vi beskriver en prototypimplementation som består av tre program som är integrerade via en relationsdatabas: en krypskytt som lagrar metadata för dokument och länkar i relationstabeller och styrs av olika attribut i dessa tabeller, en hypertextklassificering som uppdaterar metadata med ämnesinformation från en stor taxonomi (som Yahoo!) och ett klassificeringssystem som uppdaterar metadatafält som anger värdet av en sida som åtkomstpunkt för ett stort antal relevanta sidor. De två "gruvmodulerna" styr krånglaren bort från onödig utforskning och fokuserar sina insatser på webbregioner av intresse. Vi rapporterar om omfattande fokuserade experiment med användning av flera ämnen på olika nivåer av specificitet. Focused crawling förvärvar relevanta sidor stadigt medan standard crawling snabbt förlorar sin väg, även om de startas från samma rotuppsättning. Focused crawling är robust mot stora störningar i startuppsättningen av webbadresser. Den upptäcker till stor del överlappande uppsättningar av resurser trots dessa störningar. Den är också kapabel att utforska och upptäcka värdefulla resurser som är dussintals länkar från början uppsättningen, samtidigt försiktigt beskära de miljontals sidor som kan ligga inom samma radie. Våra anekdoter föreslår att fokuserad krypning är mycket effektivt för att bygga högkvalitativa samlingar av webbdokument på specifika ämnen, med hjälp av blygsam skrivbordsmaskinvara.
Däremot syftar fokuserad krypande REF till att endast samla in sidor som är relaterade till ett specifikt ämne.
Focused crawling: a new approach to topic-specific web resource discovery
{'venue': 'Computer Networks', 'journal': None, 'mag_field_of_study': ['Computer Science']}