Organisationen av HTML till en tagg trädstruktur, som återges av webbläsare som ungefär rektangulära regioner med inbäddad text och HREF-länkar, hjälper i hög grad surfare lokalisera och klicka på länkar som bäst uppfyller deras informationsbehov. Kan ett automatiskt program emulera detta mänskliga beteende och därmed lära sig att förutsäga relevansen av en osynlig HREF målsida w.r.t. ett informationsbehov, baserat på information som är begränsad till HREF:s källsida? En sådan förmåga skulle vara av stort intresse för fokuserad krypning och resurs upptäckt, eftersom det kan finjustera prioriteringen av obesökta webbadresser i krypgrunden gränsen, och minska antalet irrelevanta sidor som hämtas och kastas. Vi visar att det verkligen finns en hel del användbar information på en HREF källsida om relevansen av målsidan. Denna information, kodad på lämpligt sätt, kan utnyttjas av en övervakad lärling som tar onlinelektioner från en traditionell fokuserad krypskytt genom att observera en noggrant utformad uppsättning av funktioner och händelser i samband med krypskytten. När lärlingen får ett tillräckligt antal exempel börjar krypskytten konsultera den för att bättre prioritera webbadresser i krypgrunden. Experiment på ett dussin ämnen som använder en 482-topisk taxonomi från Open Directory (Dmoz) visar att onlinerelevans feedback kan minska falska positiva med 30% till 90%.
I REF, Chakrabarti et al. visade att det finns en hel del användbar information på en "href" källsida om målsidans relevans.
Accelerated focused crawling through online relevance feedback
{'venue': "WWW '02", 'journal': None, 'mag_field_of_study': ['Computer Science']}