Hattal i form av rasism och sexism är vanligt på internet (Waseem och Hovy, 2016). Av denna anledning har det funnits både ett akademiskt och ett branschintresse i att upptäcka hatpropaganda. Volymen av data som ska ses över för att skapa datamängder uppmuntrar en användning av crowd sourcing för annotering insatser. I den här artikeln undersöker vi hur notatorns kunskaper om hatpropaganda påverkar klassificeringsmodeller genom att jämföra klassificeringsresultat från utbildning på expert- och amatöranteckningar. Vi ger en utvärdering av vår egen datauppsättning och kör våra modeller på datamängden som släpptes av Waseem och Hovy (2016). Vi finner att amatörannoterare är mer benägna än expertantecknare att märka föremål som hattal, och att system som är utbildade på expertanteckningar överträffar system som är utbildade på amatöranteckningar.
REF har studerat hur annotatorernas kunskap påverkar uppgiften att upptäcka hatpropaganda.
Are You a Racist or Am I Seeing Things? Annotator Influence on Hate Speech Detection on Twitter.
{'venue': 'NLP+CSS@EMNLP', 'journal': None, 'mag_field_of_study': ['Political Science', 'Computer Science']}