Vissa användare av sociala medier sprider rasistiskt, sexistiskt och i övrigt hatfullt innehåll. För att utbilda ett system för att upptäcka hattal är tillförlitligheten hos kommentarerna avgörande, men det finns ingen allmänt överenskommen definition. Vi samlade in potentiellt hatiska meddelanden och bad två grupper av internetanvändare att avgöra om de var hatpropaganda eller inte, om de skulle förbjudas eller inte och att bedöma deras grad av offensivitet. En av grupperna visades en definition innan undersökningen slutfördes. Vi strävade efter att bedöma om hatpropaganda kan kommenteras på ett tillförlitligt sätt och i vilken utsträckning befintliga definitioner överensstämmer med subjektiva värderingar. Våra resultat tyder på att en definition av användarna fick dem att delvis anpassa sitt eget yttrande till definitionen men inte förbättra tillförlitligheten, som totalt sett var mycket låg. Vi drar slutsatsen att förekomsten av hatpropaganda kanske inte bör betraktas som ett binärt ja-eller-nej-beslut, och taxare behöver mer detaljerade instruktioner för kommentaren.
En studie utförd av REF har visat att det är bättre att anpassa sina synpunkter till definitionen att tillhandahålla hat-talesdefinitioner till notatorer, men detta påverkar inte tillförlitligheten i kommentarerna.
Measuring the Reliability of Hate Speech Annotations: The Case of the European Refugee Crisis
{'venue': 'Proceedings of NLP4CMC III: 3rd Workshop on Natural Language Processing for Computer-Mediated Communication (Bochum), Bochumer Linguistische Arbeitsberichte, vol. 17, sep 2016, pp. 6-9', 'journal': None, 'mag_field_of_study': ['Computer Science']}