Förekomsten av webbspam i frågeresultat är en av de kritiska utmaningar som sökmotorerna står inför idag. Medan sökmotorer försöker bekämpa effekterna av spamsidor på sina resultat, har incitamentet för spammare att använda alltmer sofistikerade tekniker aldrig varit högre, eftersom den kommersiella framgången för en webbsida är starkt korrelerad till antalet vyer som sidan tar emot. Detta dokument beskriver en termbaserad teknik för skräppostdetektion baserad på en enkel ny sammanfattande datastruktur som kallas Term Distance Histograms som försöker fånga den aktuella strukturen på en sida. Vi tillämpar denna teknik som ett post-filtrering steg till en stor sökmotor. Våra experiment visar att vi kan upptäcka många av de artificiellt genererade spamsidorna som fanns kvar i motorresultaten. Specifikt, vår metod kan upptäcka många webbsidor som genereras genom att använda tekniker som dumpning, vävning, eller frassömnad [11], som är spamming tekniker utformade för att uppnå höga ranking samtidigt som uppvisar många av de enskilda ordfrekvens (och även bi-gram) egenskaper naturlig mänsklig text.
Attenberg och Suel REF renar skräpposten i sökresultaten genom att fånga sidornas aktuella struktur baserat på en termbaserad sammanfattande datastruktur.
Cleaning search results using term distance features
{'venue': "AIRWeb '08", 'journal': None, 'mag_field_of_study': ['Computer Science']}