Abstract-Web spam är ett allvarligt problem för sökmotorer eftersom kvaliteten på deras resultat kan allvarligt försämras av närvaron av denna typ av sida. I det här dokumentet presenterar vi ett effektivt skräppostdetekteringssystem baserat på en klassificering som kombinerar nya länkbaserade funktioner med språkmodellbaserade (LM). Dessa funktioner är inte bara relaterade till kvantitativa data som extraheras från webbsidor, men också till kvalitativa egenskaper, främst av sidorna länkar. Vi anser till exempel att en sökmotor kan hitta, med hjälp av information från sidan för en viss länk, den sida som länken faktiskt pekar på. Detta kan betraktas som en indikation på kopplingens tillförlitlighet. Vi kontrollerar också samstämmigheten mellan en sida och en annan som pekas på av någon av dess länkar. Två sidor som länkas till en hyperlänk bör vara semantiskt besläktade, åtminstone genom en svag kontextuell relation. Därför tillämpar vi en LM-strategi på olika informationskällor från en webbsida som hör till sammanhanget för en länk, för att ge högkvalitativa indikatorer för webbspam. Vi har specifikt tillämpat Kullback-Leibler divergensen på olika kombinationer av dessa informationskällor för att karakterisera förhållandet mellan två länkade sidor. Resultatet är ett system som avsevärt förbättrar upptäckten av webbspam med färre funktioner, på två stora och offentliga dataset som WEBSPAM-UK2006 och WEBSPAM-UK2007. Index Terms-Content analys, informationssökning, språkmodeller (LM), länk integritet, webb spam upptäckt.
I studien av REF föreslogs en ny metod för att upptäcka skräppostwebbplatser baserat på QL-analysen (Qualified-Link) och innehållsbaserade funktioner med språkmodellen (LM).
Web Spam Detection: New Classification Features Based on Qualified Link Analysis and Language Models
{'venue': 'IEEE Transactions on Information Forensics and Security', 'journal': 'IEEE Transactions on Information Forensics and Security', 'mag_field_of_study': ['Computer Science']}