Ett problem som spelare i tävlingsspel ställs inför är negativt eller giftigt beteende. League of Legends, det största eSport spelet, använder en crowdsourcing plattform kallas tribunalen för att bedöma om en rapporterad giftig spelare bör straffas eller inte. Tribunalen är ett tvåstegssystem som kräver rapporter från de spelare som direkt observerar giftigt beteende, och mänskliga experter som granskar aggregerade rapporter. Även om detta system framgångsrikt har hanterat den vaga karaktären av giftigt beteende genom majoritetsregler baserade på många röster, kräver det naturligtvis enorma kostnader, tid och mänskliga ansträngningar. I detta dokument föreslår vi en övervakad inlärningsmetod för att förutsäga crowdsourced beslut om giftigt beteende med storskaliga märkta datainsamlingar; över 10 miljoner användarrapporter inblandade i 1,46 miljoner giftiga spelare och motsvarande crowdsourced beslut. Vårt resultat visar goda resultat i att upptäcka överväldigande majoriteten fall och förutsäga crowdsourced beslut på dem. Vi visar god portabilitet för vår klassifiator i olika regioner. Slutligen uppskattar vi de praktiska konsekvenserna av vårt tillvägagångssätt, potentiella kostnadsbesparingar och skydd av offren.  Kategorier och ämne Descriptors League of Legends; online videospel; giftigt beteende; crowdsourcing; maskininlärning 0. SAMMANFATTNING "STFU NOOB!" Om du har spelat ett online-tv-spel, det finns en god chans att du har hört detta tidigare. Giftigt beteende är en del av livet i en värld av moderna mulitiplayer spel, men måste det vara? Behöver spelare utsättas för fördömelse för varje litet misstag? Om en annan spelare inte får som han vill, måste hans lagkamrater sitta och se dem aktivt försöka sabotera resten av spelet? Om någon konsekvent uppvisar denna typ av beteende, måste hela samhället bara lida? Som spel har vuxit från enkla två spelare spel som PONG till en multi-miljard dollar, så har också giftigt beteende blivit svårare. Giftigt beteende utgör ett stort hot mot spelindustrin. Uppskattningar sätter sorg som orsaken till cirka 25% av samtal till kundsupport linjer. Inte bara är detta en enorm kostnad för speloperatörer, men, Det visar vilken typ av skada som giftiga spelare kan orsaka. Stressen som orsakas av trakasserier och andra former av giftigt beteende kan få spelare att bli trötta till den grad att de slutar spelet. Med tillkomsten av free-to-play affärsmodell, där spelet ges bort gratis och utvecklarna stöds via mikro-transaktioner, ett spel hållbarhet är direkt relaterad till styrkan i sin gemenskap. En stor, hälsosam gemenskap lockar nya spelare och håller befintliga spelare engagerade och villiga att spendera pengar. Okontrollerat, giftigt beteende hotar att slita isär ett spels gemenskap. Det har gjorts många försök att ta itu med giftigt beteende. Det tidigaste nödvändiga direkta mänskliga ingripandet, vanligen från en spelmästare/administratör. Även korrekt och avgörande, denna typ av system inte skala när det finns 10-tals miljoner aktiva spelare. På senare tid har crowdsourced system, som använder sig av många människors input, uppstått. Till exempel, Overwatch systemet använder expertinput för att upptäcka fuskare i Counter-Strike: Global Offensive. Ett annat exempel är League of Legends Tribunal, som tillåter människor att rösta om huruvida en anklagad spelare är giftig. Medan Overwatch behandlar ett något svartvitt beslut, behandlar personaldomstolen en mer nebulant definierade uppsättning beteenden. Kanske den spelare som verkar vara medvetet rusa in och dö behöver bara "git gud." Kanske spelaren surrar ut i chatt bara haft en dålig dag och skulle normalt aldrig agera så. Tribunalen samlar in flera fall av potentiellt giftigt beteende, insamlade från rapporter från spelare som faktiskt upplevt beteendet, och presenterar dem för en panel av granskare rekryterade från samhället som röstade för skuld eller oskuld. Personaldomstolen har ansetts vara en framgång med påståenden om att den resulterar i minskad recidivism. Men det kräver fortfarande stora mänskliga ansträngningar, och det är långsamt till sin natur: ett antal rapporter måste tas emot innan fall ens presenteras för granskare. I denna artikel analyserar vi rapporter från flera miljoner League of Legends matcher och deras motsvarande crowdsourced beslut från personaldomstolen. Vi finner att Tribunal granskare baserar sina beslut på i-spel prestanda för både den anklagade och de andra spelarna i spelet, chattloggar, och den information som tillhandahålls av ingame rapporter. Vi använder sedan maskininlärning tekniker för att bygga en modell för att upptäcka giftigt beteende som framgångsrikt diskriminerar mellan skyldig och oskyldigt beteende ca 80% av tiden, och mellan överväldigande överenskommelse om oskuld ca 88% av tiden. Våra resultat har stor inverkan. Det finns ett uppenbart bidrag till spelbranschen, men vi ger också en djupare förståelse för giftigt beteende. Vi visar att datorer, åtminstone i vissa scenarier, kan användas för att hitta dåligt beteende. Vår experimentellt härledda modell antyder möjligheten till automatisk upptäckt av t.ex. cybermobbning. I slutändan visar vi att maskininlärning, med lite hjälp från publiken, kan avgöra om du är giftig eller bara behöver ge mat.
Av särskild betydelse är studien av REF, som använder folkmassan från Tribunal beslut i spelet League of Legends som deras grundläggande sanning, liknande denna uppsats (se avsnitt 3).
STFU NOOB! Predicting Crowdsourced Decisions on Toxic Behavior in Online Games
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Physics']}