Abstrakt. Trots flera fördelar för moderna samhällen och företag, Twitter har lockat många spammare överväldigande legitima användare med oönskade och störande reklam och falsk information. Att upptäcka spammare är alltid utmanande eftersom det finns en enorm mängd data som behöver analyseras samtidigt som spammare fortsätter att lära sig och ändra sina sätt att undvika att upptäckas av anti-spammer system. Flera system för klassificering av skräppost föreslås med hjälp av olika funktioner som hämtats från innehållet och användarens information från deras Tweets. Ingen omfattande studie har dock gjorts för att jämföra och utvärdera dessa systems effektivitet och ändamålsenlighet. Det är inte känt vad det bästa anti-spammer systemet är och varför. I detta dokument föreslås en utvärderingsram som gör det möjligt för forskare, utvecklare och praktiker att få tillgång till befintliga användarbaserade och innehållsbaserade funktioner, genomföra sina egna funktioner och utvärdera hur deras system fungerar i förhållande till andra system. Vårt ramverk hjälper till att identifiera de mest effektiva och effektiva detekteringsfunktionerna för skräppost, utvärdera effekten av att använda olika antal senaste tweets och därmed få en snabbare och mer exakt klassificeringsmodell. Nyckelord: Spam upptäckt; Utvärdering arbetsbänk; Feature val; Maskininlärning Spamer är oönskade aktiviteter såsom när marknadsförare skickar medlemmar oönskade annonser, post falska recensioner, eller stjäla användarinformation genom att styra användare till skadliga externa sidor [11]. Eftersom sociala nätverkstjänster (SNS) blir ett viktigt kommunikationssätt drar det till sig spammare som överväldigar användare med oönskat innehåll. Bland dessa webbplatser, Twitter, som startades 2006, har vuxit till att vara en av de mest populära SNS [22]. Det finns 500 miljoner meddelanden (kallade tweets) producerade av 328 miljoner aktiva Twitter-användare (kallas twitterare) varje dag. Till skillnad från andra populära SNS kan tweets läsas av vem som helst och människor kan följa en användare utan deras samtycke. För att locka användare till sina målwebbplatser lägger spammare ut ett stort antal samordnade meddelanden som innehåller specifika webbadresser och ibland beskriver dem med orelaterade ord [26]. Eftersom SNS bidrar till att bygga inneboende förtroende mellan sina användare, kommer 45% av dem att klicka på länkar postade av sina online-vänner även om de inte känner dessa människor i verkliga livet [24]. Twitterers tenderar också att posta förkortade webbadresser och skriva i förkortade formulär som sällan visas i konventionella textdokument eller e-post som en tweet kan bara innehålla upp till 140 tecken. Följaktligen är det svårt för användare att veta källan URL och identifiera innehållet i URL:en utan att klicka på länken och ladda sidan. De bullriga, ostrukturerade och informella uttrycken, som "2mo är en ny daaaay!" eller "TILL DC Comics står för Detective Comics", som används i texten gjorde det också svårt för automatisk skräppostdetektionssystem att exakt identifiera den semantiska betydelsen av tweets. Därför är social skräppost mer skadlig och komplex än SMS, e-post eller webbspam. Det håller på att bli ett viktigt problem för användare och tjänsteleverantörer. Omkring 83 % av användarna av sociala nätverk har fått minst en oönskad vänförfrågan eller ett oönskat meddelande och över 3 % av tweetsen är skräppost [7]. För att göra Twitter till en skräppostfri plattform gör Twitter det möjligt för twitterare att rapportera skräppostadresser, tweets och konton som efter att ha verifierats kommer att ingå i Twitters svarta lista. Alla webbadresser, tweets eller konton i den svarta listan kommer automatiskt filtreras, suspenderas eller raderas av Twitter. Men på grund av tidsfördröjning, 90% av användarna kan besöka en ny spamlänk innan den ingår i den svarta listan [26]. Dessutom, Twitterer identifiera spammare manuellt baserat på erfarenhet som kan leda till falska positiva. Därför är det viktigt att ha ett verktyg som automatiskt kan identifiera spammare. Metoden måste också vara skalbar, dvs. Den kan hantera en stor mängd data på kort tid med begränsade beräkningsresurser. Vi kan dela upp antisociala skräppostsystem i två typer: tweet-nivådetektering och kontonivådetektering [24]. Tweet-nivå detektionssystemet kontrollera varje tweet för spam text innehåll eller webbadresser. Om ett konto har postat ett visst antal spam tweets är det flaggat som spammare. Eftersom ca 350.000 tweets genereras per minut [22] förbrukar tweet-nivå detektion för mycket datorresurser och är svårare att köra i realtid. Detektion på kontonivå kontrollerar enskilda kontons profil och aktivitetsmönster för att visa att de skickar spam tweets eller är ett falskt konto. Eftersom det finns mycket begränsad mängd obalanserade data tenderar det att finnas ett system för att upptäcka konton med hög precision och noggrannhet men med låg recall. När den förutspår att ett konto är ett spammare konto, har den en hög sannolikhet för att det är sant. Det finns dock många fler spammer-konton där ute som inte ansågs vara spammer-kandidater, d.v.s. De klassificeras som legitima. Detta är naturligtvis inte användbart för oss eftersom vi är intresserade av att upptäcka alla spammare. Spam upptäckt är ett aldrig sinande spel av katt och mus. Även om både säkerhetsföretag och Twitter arbetar med att skapa system för att upptäcka skräppost och spammare, försöker spammare alltid undvika att bli upptäckta. De använder olika tekniker för att skicka oönskade meddelanden till användare på SNS för reklam, bedrägerier eller spridning av skadlig kod genom skadliga webbadresser [12]. Till exempel, spammare skapar många falska konton för att posta spam tweets för ett specifikt ändamål (eller känd som spam kampanj), skicka meddelande med olika text för att förmedla samma betydelser eller betala vissa användare för att följa sina konton [15]. De statistiska attributen för spammare 3 och spam tweets varierar därför över tid. System som bygger på gamla prover kan kämpa för att upptäcka de nya spammare eller spam tweets. Eftersom det finns många föreslagna system för att upptäcka skräppost är det svårt för användare och leverantörer att avgöra vilken som är den bästa. Vi har också funnit att olika arbeten använder olika utvärderingsmått och dataset, så det är svårt att uppnå en standardutvärdering. Detta för in en forskningsutmaning om att jämföra och utvärdera prestandan hos olika skräppostdetekteringssystem och identifiera den bästa tekniken w.r.t effektivitet (dvs. noggrannhet, sann positiv hastighet och precision) och effektivitet (run-time utförande för utbildning och klassificering). Detta är särskilt fördelaktigt för forskarsamhället eftersom varje ny föreslagen teknik kan utvärderas mot de befintliga tekniker som gör det möjligt att veta om tekniken är en förbättring. I vår studie har vi granskat 172 innehållsbaserade och användarbaserade funktioner från majoriteten av befintlig litteratur. Baserat på dessa funktioner syftar vi till att utveckla en arbetsbänk, nämligen WEST (Workbench Evaluation Spammer detektion system i Twitter) för att utvärdera deras föreslagna funktioner mot de i definitionen i WEST samt att ställa in det bästa antalet senaste tweets och hitta bästa möjliga delmängd från alla tillgängliga funktioner. Vi har utformat en utvärderingsmetod med en uppsättning experiment för att hjälpa till att välja den optimala delmängd av funktioner. Vi organiserar resten av detta dokument enligt följande. Avsnitt 2 introducera bakgrund och befintligt arbete med skräppostdetektion för Twitter. I avsnitt 3 diskuteras vårt föreslagna utvärderingsarbete och i avsnitt 4 diskuteras experimentella resultat från vår studie. Slutligen avslutas arbetet och det framtida arbetet beskrivs i avsnitt 5. Detta avsnitt ger en översikt över relaterat arbete med tillvägagångssätt och metoder för SNS spammer detektion. [25] visar att maskininlärningsmetoder som demonstreras av [12] kan användas med betydande framgång i skräppostdetektion på Twitter. Sådana metoder kan extrahera användar- eller kontextbaserade funktioner från användarbeteendemönster eller språkliga funktioner i en tweet [1, 6]. [2] visar att övervakad maskininlärning teknik såsom Support Vector Machine [10, 24] kan träna funktioner som extraheras från användarprofiler för att hitta profiler kopplade till spam aktivitet. Prestanda utvärderas baserat på precision (procenten av korrekt positiv förutsägelse), återkallande (procenten av positiva fall som förutspåddes som positiva) och noggrannhet (total andel av korrekt förutsägelse). [7] visar en metod för att extrahera användaren och kontextbaserade funktioner från datasetet innan detta körs genom Meda et al.Slumpmässig skogsklassificering [25]. Utgången utvärderades baserat på precision och f-mätning, det harmoniska medelvärdet av precision och recall. [17] För att fastställa de fem bästa egenskaperna i datasetet används metoder för informationsvinster och lättnader. [17] använder informationsvinst, och Relief metoder för att hitta de bästa fem från funktioner. Dessa tillvägagångssätt använder alla olika funktioner, datauppsättningar och klassificeringar, och som sådana kan vi inte utvärdera och jämföra deras prestanda med vår. Sammanhangsbaserade funktioner är språkliga funktioner som extraheras ur tweet sammanhang [6]. Twitter utför inga kontroller av legitimiteten hos förkortade webbadresser, så spammare utnyttjar ofta detta genom att använda en förkortad URL-tjänst i ett försök att lura i legitima Twitter-användare. [19] påpekar att spammare ofta använder samma webbadresser i flera tweets för att öka chansen att det klickas på av legitima användare. Ett antal forskare har utnyttjat funktioner relaterade till webbadresser. Exempel på dessa är antalet webbadresser [9], antalet webbadresser per ord [6], och antalet unika webbadresser [10]. I Twitter används #hashtaggen för att beskriva en term, händelse eller känsla. Om flera tweets förekommer med samma #hashtag, kommer det att bli en trendig ämne [7]. Spammare inkluderar ofta en trending #hashtag med sina tweets (även med icke-relaterat innehåll) för att locka i legitima användare [17]. #Hashtags kan manipuleras på samma sätt som URL-funktioner, och utvidgas till andra former såsom antalet #hashtags per verk på en tweet [6]. Twitter-användare kan inkludera @username i sina tweets (kallas en "mentation"). Detta gör det möjligt att skicka tweeten till användaren i @username, oavsett om de är anhängare av eller inte följt av användaren som tweetade. Detta är en funktion som spammare också utnyttja, så att de kan driva tweets till användare [17]. Denna funktion har utforskats av flera författare [7, 19]. Det har noterats att tweets från spammare ofta innehåller ett större antal spam-relaterade ord (upp till 39 %) medan legitima användare cirka 4% [1]. På grund av detta använder vissa papper en spam ordfunktion baserad på spam ord från webbplatser som Wordpress.org [1, 7]. Andra metoder och metoder inkluderar funktioner såsom procentandel av ord som inte finns i en ordbok i deras system [8]. Användarbaserade funktioner härrör från egenskaper relaterade till användarens beteende [1]. Generellt följer spammare så många användare som möjligt för att få sin uppmärksamhet, och öka sannolikheten för framgång med spamattacker [7]. Vanliga användarbaserade funktioner inkluderar antal följare (användare som följer användaren i fråga), antal följare (användarna användaren i fråga följer) och rykte (bestämmer användarens inflytande på Twitter). Dessa funktioner används i olika kombinationer med varierande framgång. [7] använder följande nummer och följande nummer, och uppnår 95,7 % precision, medan [14] använder nummer efter, antal följt, och rykte, men uppnår endast 91 % precision. Både [12] och [2] använder uppföljare-tillföljande förhållande. Anledningen till denna funktion är att även om spammare försöker följa så många konton som möjligt, är det svårt att uppnå "follow-backs", och funktionerna säkerställer ett sunt förhållande av följare och följar underhålls. Den metod som användes i [12] kunde uppnå 93,6% precision. Men [15] påpekar att följare kan köpas från vissa webbplatser, vilket effektivt minskar tillförlitligheten hos funktionen följare-till-följer-förhållande. De introducerar en ny funktion som kallas dubbelriktade länkar förhållandet. Detta definieras som "ömsesidiga uppföljningar", dvs. två konton som följer varandra. Denna funktion är svårare för spammare att undvika, eftersom det resulterar i att de måste köpa fler följare. Det enda sättet att undvika detta är genom reflexiv ömsesidighet - när en användare följer någon tillbaka av artighet [27]. 95% av spam tweets innehåller förkortade skadliga webbadresser. [16] föreslår URL-frekvens och interaktionsfrekvens -två funktioner för att adressera URL-baserade spamattacker. Interaktionsfrekvens noterar bristen på normal interaktion beteende i spammers, medan URL-frekvens com-5 pares förhållandet mellan URL-baserade tweets till normala tweets. Detta är en särskilt effektiv egenskap eftersom det nästan är omöjligt att undvika. Som i grunden formuleras i den befintliga litteraturen, med tanke på en uppsättning användare i datasetet, är ett spammer detektionssystem avsett att bygga en klassificeringsmodell,, för att förutsäga om en användare, är en spammer baserad på en uppsättning funktioner som extraheras från användarens sociala aktiviteter, relationer, profiler och/eller textinnehåll som samlats in från användarens N senaste tweets. Spammers True Positive Rate, Spammers False Positive Rate, Precision, Noggrannhet, F 1 -mått, och tid används sedan för att mäta effektiviteten och effektiviteten i modellen. Det är oklart vilket system som är bättre. Spammare ändrar ständigt sina strategier för att lura anti-spam system [3]. Dagens effektiva funktioner kanske inte är effektiva i framtiden. Det är därför absolut nödvändigt att snabbt kunna ta reda på ineffektiva funktioner och testa prestandan hos nya extraherade funktioner baserat på en ny datauppsättning. Den viktigaste motivationen för vår Workbench för utvärdering av Spammers i Twitter (WEST) är att tillhandahålla en omfattande samling av sociala aktiviteter, relationer, profiler och textinnehåll funktioner som forskare snabbt kan välja och utvärdera på nya datamängder. Människor kan då enkelt avgöra vilka funktioner eller vilket övergripande system som är mest effektivt och effektivt. WEST är skrivet i JAVA och har extensibel arkitektur som gör det möjligt att enkelt implementera och integrera nya funktioner i arbetsbänken. Den förlitar sig på WECA [20] för att utföra funktionen urval och klassificering på datasetet. Därför kan användare välja vilken egenskap val teknik och övervakad inlärningsalgoritm som finns i WECA eller inkludera sin egen implementering till WECA när de bygger sin anti-spammer modell. Med WEST kan vi besvara följande viktiga frågor. 1. Vad är det för fel på dig? Vilka är de mest effektiva uppsättningarna av funktioner för att identifiera spammare? 2. Utgångspunkten är följande: Vilken är den mest effektiva modellen för att upptäcka spammare? 3. Vad är det som händer? Kan antalet senaste tweets som används avsevärt påverka systemets prestanda? Figur 1 visar den övergripande ramen för WEST och detta avsnitt beskriver uppsättningen funktioner som ingår i arbetsbänken och hur forskare eller utövare kan utnyttja och förlänga WEST. För att undvika förvirring, från och med nu, kommer vi att använda termen användare för att beteckna användarna av WEST och Twitter för att representera användarna av Twitter. Indatasetet måste bestå av två mappar, spam och skinka, som innehåller XML-filer för spammare respektive skink twitterare. Data om varje Twitterer lagras i en separat XML-fil som visas i figur 2. VEST extraherar sedan funktioner som valdes av användarna från filen. Baserat på insamlingen av funktioner som WEST för närvarande har, Tabell 1 visar XML-taggar läst av WEST och listan med information som kan extraheras från varje tagg. Med tanke på ett twitter-ID använder vi Twitter4J [21] för att få åldern på ett Twitterers konto och listan över Twitterers efterföljare. För varje följare, vi ta reda på deras namn och om de följs tillbaka av Twitterer. Resultatet lagras i en CSV-fil illustrerad i tabell 2.  XML Tags Information Extracted Det är beräknings dyrt att analysera varje tweet som en twittererer skickar för att avgöra om kontot är ett spammer konto. Dessutom är en lösning för att ta itu med drift problemet med twitter spam genom att omskola en spammer klassificerare modell varje dag baserat på de nya spam tweets. Därför måste anti-spammer detektionssystem kunna identifiera spammer från det minsta antalet senaste tweets möjligt. Olika forskare extraherar funktioner från olika antal senaste tweets. Till exempel [19] använde 200 tweets och uppnådde 81% precision medan [7] extrakt från 100 senaste tweets och fick 95,7% precision. Det är dock fortfarande oklart om skillnaden i prestanda beror på det olika antalet senaste tweets eller på den uppsättning funktioner och datauppsättning som de använde. Som visas i avsnitt 4, med WEST, forskare kan enkelt definiera antalet senaste tweets som ska ingå från datasetet och utvärdera om att ändra det numret ökar modellens prestanda. I WEST kan användarna antingen välja vilka funktioner de vill extrahera från datasetet, eller välja namnet på ett befintligt skräppostdetekteringssystem. När användaren väljer namnet på ett befintligt anti spammersystem, väljer WEST automatiskt den uppsättning funktioner som används av det systemet. WEST gör det också möjligt för användaren att lägga till nya funktioner och för närvarande finns det 17 system [1, 2, 4, [6] [7] [8] [9] [10] [11] [12] [12] [14] [15] [16] [17] [18] [19] och 173 funktioner. Var och en av dessa funktioner kan grupperas i fyra typer: profil, aktiviteter, relationer och tweetinnehåll. Profilfunktioner är information som erhålls från Twitterers profilsida såsom skärmnamn, beskrivning, kontots ålder, profilens URL och rykte. Relations funktioner representerar Twitterer vänskap status och aktiviteter som anhängare, följare, vänner, dubbelriktade länkar (följare som följs av Twitterer) och interaktion (twitter svar eller omnämnande av en följare eller en icke-följare namn eller tweet). Innehållsfunktioner fångar alla språkliga egenskaper hos texten i en tweet som webbadresser, webbadresser till en social media domän,
Ramförslag från Kenny Ho et al. hjälper till att identifiera de mest effektiva och effektiva detekteringsfunktioner för spammer, utvärdera effekten av att använda olika antal senaste tweets, och därmed få en snabbare och mer exakt klassificering modell REF.
A Framework for Evaluating Anti Spammer Systems for Twitter
{'venue': 'OTM Conferences', 'journal': None, 'mag_field_of_study': ['Computer Science']}