Annotering förvärv är ett viktigt steg i utbildning övervakade klassificerare. Manuell anteckning är dock ofta tidskrävande och dyr. Det är därför lämpligt att använda sig av en metod som gör det möjligt för Amazon att lägga ut flera uppgifter på entreprenad, vanligtvis med låga totala kostnader och snabba genomförandegrader. I den här artikeln tar vi upp det svåra problemet med att klassificera känslor i politiska bloggsnuttar. Noteringsdata från både expertanmälare i ett forskningslabb och icke-expertannoterare som rekryterats från Internet undersöks. Tre urvalskriterier har fastställts för att välja ut högkvalitativa kommentarer: bullernivå, känslomångfald och lexisk osäkerhet. Analysen bekräftar nyttan av dessa kriterier för att förbättra datakvaliteten. Vi genomför en empirisk studie för att undersöka effekten av bullriga kommentarer på prestandan av känsloklassificeringsmodeller, och utvärdera nyttan av annotering urval på klassificering noggrannhet och effektivitet.
Hsueh m.fl. REF jämför stämningskvaliteten i politiska bloggsnuttar från en crowdsourcing-strategi och expertantecknare.
Data Quality from Crowdsourcing: A Study of Annotation Selection Criteria
{'venue': 'Proceedings of the NAACL HLT 2009 Workshop on Active Learning for Natural Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}