Vi ger också insikter om förändringar i webbspam sedan den senaste Webb Spam Corpus släpptes 2006. Dessa insikter inkluderar: 1) spammare manipulera sociala medier för att sprida skräppost; 2) HTTP-huvuden ändras också över tid (t.ex. Hosting IP-adresser för webbspam visas i fler IP-intervall); 3) Webbspam innehåll har utvecklats men huvuddelen av innehållet är fortfarande bluff. Index Villkor-webb spam, evolution, spam corpus. Webb spam definieras som webbsidor som skapas för att manipulera sökmotorer och lura webbanvändare [3], [4]. E-post har länge varit den främsta metoden för att sprida webbspam, även om spammare utvecklas med tiden och snabbt använder nya tekniker för att sprida webbspam. En tydlig trend är övergången till sociala medier på grund av att det är lätt att dela information som ger effektivare och många kanaler för ökad skräppost på webben. Till exempel, webb spam länkar i vänförfrågningar, inkorg meddelanden, och nyhetsflöden, omdirigerar användare till reklam webbplatser eller andra typer av skadliga webbplatser. Dessutom har sociala medier omdefinierat hur länkar delas med en tendens att dela länkar med hjälp av URL-kortare [5]. Förutom att utvecklingen av webb och applikationer på webben är en av anledningarna till förändring av webbspam, finns det en ständig utveckling av skräppost som en reaktion på defensiva tekniker som införts av forskare [6], [7]. Förbättringar av defensiva tekniker som används i webbspam möjliggörs av forskare som har tillgång till corpora av webbspam och att kunna samarbeta för att utveckla och rapportera resultat om webbspamfiltreringsteknik. När det gäller innehåll finns det få exakta innehållsdubbleringar mellan dataseten. Vi jämförde också innehållet i datamängderna från andra innehållsaspekter: de populäraste orden, topporden baserade på informationsvinst, och n-gram(n är från 2 till 3) sekvenser baserade på frekvens. Resten av tidningen är organiserad enligt följande. Vi motiverar problemet ytterligare i avsnitt II. Avsnitt III i troduces corpus inklusive datainsamling och rensningsmetoder. Avsnitt IV jämför W91' 1 :f fi916 - W-f 1 H ktP Dol 10.4108/icst.collaboratecom.2012.250689 Webb Spam Corpus. Vi diskuterar därmed sammanhängande arbete i avsnitt V och avslutar dokumentet i avsnitt VI. Webbspam har fått mycket uppmärksamhet med sökmotorer som ständigt justerar tekniker för att identifiera webbspam [9] och sociala nätverk som försöker förhindra att webbspam sprids genom sina nätverk [10]. Med webblänkar som ett av de mest populära och enklaste sätten att dela information på webben, webb spam kommer att förbli ett problem. En av de vanligaste teknikerna för att bekämpa webbspam är att använda maskininlärning, mer specifikt övervakad inlärningsteknik, för att bygga klassificeringar för webbspam med hjälp av rubriker, innehåll, eller länkfunktioner. Som en förutsättning för att använda sådana tekniker eller forska i nya, att ha tillgång till en stor mängd märkt webbspam är viktigt och därmed samlar vi in, renar och släpper en corpus av webbspam som en möjliggörare för forskare att förbättra och utveckla nya webbspamtekniker. En standard corpus släpps för ett antal forskare att använda, som är fallet med våra corpus, möjliggör och uppmuntrar samarbete mellan forskare att dela och förbättra varandras resultat. Även om lanseringen av den tidigare Webb Spam Corpus uppnått detta för ett antal år sedan, fann vi att webb-spam har förändrats avsevärt nog för att motivera en uppdatering till Webb Spam Corpus. Nämligen, i takt med att detektionstekniken förbättras, utvecklas spammare och introducerar nya tekniker för att undvika detektion. Ett konkret exempel på detta är populära verktyg som URL-kortare (som minskar längden på en URL genom att mappa en identifierare på en vanlig webblänk till en lång URL) snabbt plockas upp av spammare som en billig metod för obfuscation och omdirigering. 2) Källa URL och faktiska URL: Vi skiljer URL-länkar i två grupper: källkod URL:er och faktiska webbadresser. Här, källkod URL:er är de ursprungliga webbadresser som extraheras från e-postmeddelanden och är typiskt vad slutanvändaren kommer att se i e-postmeddelandet. Faktiska webbadresser är de slutliga webbadresserna eller webbadressen till den webbsida som användaren slutligen ser i sina webbläsare. Det vill säga, detta är den slutliga webbadressen efter alla omdirigeringar (http omdirigeringar, javascript omdirigeringar, meta-tag omdirigeringar, med mera) har följts. Om en webbsida inte omdirigerar en användare, kan den faktiska webbadressen vara densamma som källkoden. För att klargöra detta visas förhållandet mellan källkodens URL och den faktiska webbadressen i figur 2 : : I Verklig URL I Förhållandet mellan källkodens URL och den faktiska webbadressen har följande egenskaper: a). En omdirigering kedja leder från källkod URL till faktiska URL; b). Många källwebbadresser kan omdirigera/avbilda till en enda faktisk webbadress; c). Källwebbadresser som lyckades nås utan att resultera i en omdirigering är verklig URL. 3) Källwebbadresslänkar: Vi börjar med en uppsättning källwebbadresser extraherade från 6,3 miljoner skräppost som samlats in mellan maj 2010 och november 2010 till en måttligt stor e-postleverantör. Vi extraherar bara http- och https-webbadresser (även om https-länkar endast utgör 0,2 % av alla spamlänkar vi extraherade), med hjälp av Perls URI::Hitta:Schemeless och Htrnl: :LinkExtor-moduler för att extrahera webbadresser från text respektive HTML. Vi slutar med 30,7 miljoner webblänkar (15,1 miljoner unika länkar). Figur 3 visar distributionen av URL-länkar i månader. Vi undersöker också toppdomäner i källwebbadresser och lista topp 10 TLDs i tabell I Förutom legitima URL-länkar i spam e-post, de nedladdade webbsidor innehåller också andra falskt positiva. Även om dessa faktiska URL:er kan ha varit spam URL:er, på grund av fördröjningen i att installera vår nedladdning och rensning system, spam URL:erna kröp några månader efter källan URL:er extraherades. Detta resulterade i ett antal 404 HTTP-fel eller anpassade "404 fel webbsidor". Vi eliminerar sådana sidor samt tidigare nämnda falska positiva lämnar oss med 673,489 spam webbsidor i corpus. 2) Ta bort icke-textuella webbsidor: Cirka 98 % av webbsidorna identifierar sin "Innehållstyp" som texthtml. Efter att ha rengjort falska positiva i corpus, vi kasta icke textlhtml sidor. Genom att ta bort icke-textuella webbsidor baserat på attributet "Content-Type" i HTTP-huvudinformation, behöll vi 673.313 webbsidor inklusive 342.478 omdirigeringar. Efter att ha laddat ner alla webbsidor undersöker vi distributionen av toppdomäner och HTTP-statuskoder. Syftet är att hitta vilken toppdomän som är värd för de vanligaste webbspam och de vanligaste HTTP-svaren när vi klickar på dessa spam URL-länkar. För att få populära toppdomäner behandlar vi datauppsättningen i följande steg. Först samlar vi in alla toppdomäner från LANA Data\ som innehåller 313 toppdomäner (senast uppdaterad 20 juni 2012 ). Genom att matcha alla källwebbadresser i nedladdade filer med toppdomänlistan aggregerade vi antalet webbsidor i samma toppdomän. De 10 mest populära toppdomänerna visas i figur 5. Vi ser att de tre mest populära toppdomänerna COM, ORG och NET nästan står för mer än 80 % av toppdomänerna. Särskilt, andelen webbsidor som tillhör toppdomänen COM är över 60%. o 1 2 3 4 5 6 7 8 9 10 11 12 13 Antal omdirigeringar Antal källwebbadresser kartläggning till en enda faktisk URL (Log Scale) Bild. 8............................................................... Distribution av antalet källwebbadresser som pekar på samma faktiska URL-omdirigeringar har olika kategorier, inklusive HTTP redi rect, ram omdirigering, iFrame omdirigering, meta-refresh omdirigering och plats omdirigering [8]. För HTTP-omdirigering har den också vissa underkategorier baserade på svarsstatus som "301 Flyttad" HTTP-omdirigering och "302 Found" HTTP-omdirigering. Vi jämför omdirigering distribution av två datamängder som visas i Figur 9. Figur 9 visar HTTP-omdirigering i Webb Spam Corpus 2011 fortfarande upptar majoriteten av omdirigeringar, vilket står för 41,7 % av omdirigeringar (25,6 % för "Found" omdirigeringar, 12,1 % för "Moved Permanent" omdirigeringar och 4,0 % för andra HTTP-omdirigeringar). HTML-ram och HTML iFrame omdirigeringar står för 14,8 % respektive 28,4 %. Omdirigering med metauppdateringstaggar står för 15,0 % och omdirigering för mindre än 1 % av alla omdirigeringar. Vi observerar att Webb Spam Corpus 2011 har färre "302 Found" omdirigeringar och lokalisering omdirigering. Men det har fler iFrame omdirigeringar. Samtidigt fann vi att Webb Spam Corpus 2011 har andra HTTP omdirigeringar som upptar 4% omdirigeringar. Exempel på svarsstatus för andra HTTP-omdirigeringar inkluderar: a) "302 Flyttat objekt", b) "302 Flyttat tillfälligt", c) "302 Omdirigera". Förutom att visa distributionen av omdirigeringar, vi också titta på de gemensamma värdnamn i omdirigering kedjor som kommer att berätta för oss vilka typer av webbplatser har utnyttjats av spammare. De vanligaste värdnamnen i redi rection kedjor inklusive HTTP omdirigering, ram omdirigering, iFrame omdirigering, och meta-refresh omdirigering visas i tabell III. Från tabell III undersökte vi alla värdnamn och fann att det finns tre huvudkategorier: domänparkering webbplatser, sociala nätverk webbplatser, och annonsör webbplatser. Till exempel bodisparking.com och sedoparking.com är att göra huvudsakliga parkering webbplatser. facebook.com och in.com är sociala nätverk webbplatser. ad. doubleclick.net är annonsör webbplatser. Den första uppsättningen räknar representerar vyn av alla HTTP, HTML och JavaScript omdirigering tekniker. Denna lista består av 3 domänparkeringstjänster, 1 annonsör och 1 sociala nätverk. De 5 bästa HTTP omdirigera värdnamn består av 1 domän parkeringstjänst, 3 annonsörer och 1 sociala nätverk. De 5 bästa ram omdirigera värdnamn består av 3 domän parkeringstjänster, 2 annonsörer. De 5 bästa iframe omdirigera värdnamn består av 1 domän parkeringstjänster, 3 annonsörer och 1 sociala nätverk. De fem bästa meta uppdatering omdirigering värdnamn består av 3 domän parkeringstjänster, 1 annonsör, och 1 sociala nätverk. Domänparkering för sysslolösa domäner används för att visa reklam och tjäna pengar. Det är lätt att förstå att spammare använder dessa domäner för att tjäna pengar. Annonsörer liknar domän parkeringstjänster på dis spelar annonser som kanske inte är användbara för användare. För sociala nätverk webbplatser, vi studerade i detalj om Facebook URL:er i Webb Spam Corpus 201 l. Vi fann att majoriteten av omdirigeringar från Facebook tillhör iFrame omdirigering, meta-refresh omdirigering och HTTP omdirigering. I iFrame-omdirigering finns det tre typer av URL-omdirigeringar baserade på undersökvägen för URL-länkar: "connect", "plugins", och "widgets", som står för 72,6 %, 24,4 % respektive 3 %. Även "connect" URL-länken omdirigerar användare till de profiler som värd Facebook. I vår dataset, lO,820 "anslut" URL-länk omdirigerar till "t35.com" profil hosting i Facebook. "t35.com" är en webbplats för domänparkeringstjänster. För 3.655 "plugins" URL-länkar, 3,379 av dem är "liknande" rutan plugin och 140 av dem är "aktivitet" plugin. Normalt, om du klickar på "some" box plugin, kommer du att bli ett fan av händelser, produkter, eller profiler så att du kommer att hållas uppdaterad med nyhetsflöden och statusändringar. För "aktivitet" plugin, kommer du att gå med i aktiviteten om du klickar på den. "Widgets" URL-länkar liknar "plugins" URL-länkar. 444 "widgets" URL-länkar ger "liknande" knappen för användare att klicka. Därför kan vi dra slutsatsen att spammare använder kraften i sociala nätverk för att sprida skräppost. Webb Spam Corpus 2011 innehåller också HTTP sessionsinformation som erhölls från servrarna som var värd för dessa sidor. I det här avsnittet jämför vi två datauppsättningar med fokus på de vanligaste server-IP-adresserna och sessionshuvudvärden. 1) Hosting IP-adresser: Hosting IP-adress är IP-adressen som är värd för en viss skräppostsida. Figur lO visar distributionen av alla hosting IP-adresser över nätverksnumret i Webb Spam Corpus 201 l. Här är nätverksnumret de första 8 bitarna av IPV 4 adress. Tidigare studie [8] Tabell IV visar 4 IP-adresser från 63.- Vad är det för fel på dig?*, 2 IP-adresser från 204.-216. - Vad är det för fel på dig?* och 4 IP-adresser från andra områden. Det visar också att 4 IP-adresser från amerikanska servrar, 2 IP-adresser från Frankrikes servrar och 4 IP-adresser från andra länder (Australien, Korea, Nederländerna och Tyskland). Vi kan se att alla servrar är legitima servrar vilket inte betyder att dessa legitima servrar är spannare. Det betyder bara att de webbtjänster som tillhandahålls av dessa servrar används av spammarna för skräppoständamål. 2) HTTP Session Header: Tidigare studie [11] har visat att HTTP session information används för att förutsäga webb-spam effektivt. Som utvecklingen av webbspam, har vi för avsikt att se om HTTP session information om webbspam har förändrats över tid. För att få den mest populära HTTP-sessionsinformationen rankar vi topp 10 HTTP-sessionsrubriker baserat på antalet webbspam som dessa headers är associerade med, visas i tabell V. Jämfört med topp-lO HTTP-sessionsrubriker visar tabell V några ändringar enligt följande: a). nytt huvud P3P visas i topp lO-listan och gammalt huvud PRAGMA har tagits bort från listan; b) de mest populära värdena för huvudet SERVER och KONTENT-LENGTH har ändrats från "microsoft iis/6.0" till "Apache" respektive från 1.470 till 77; c). Ordningen på rubriken content-length rör sig före X-POW ERED-BY men de andra behåller samma relativa ordning. Dessutom finner vi att 79,1 % av webbsidorna med ett SERVER-huvud var värd för "Apache" (60,5%) eller "Mi Crosoft LIS" (18,6%). I Webb Spam Corpus var 94,2% av webbsidorna med en SERVER-huvud värd för "Apache" (63,9%) eller "Microsoft LIS" (30,3%). Mest populära värdet för rubriken KONTENT-LENGTH kan inte visa trenden av innehållslängd så vi också få fördelningen av innehållslängd visas i Figur 11.
Wang m.fl. REF jämförde två stora web spam corpus: Webb spam corpus 2006 och Webb spam corpus 2011 och visade utvecklingen av webb spam.
Evolutionary study of web spam: Webb Spam Corpus 2011 versus Webb Spam Corpus 2006
{'venue': '8th International Conference on Collaborative Computing: Networking, Applications and Worksharing (CollaborateCom)', 'journal': '8th International Conference on Collaborative Computing: Networking, Applications and Worksharing (CollaborateCom)', 'mag_field_of_study': ['Computer Science']}