Arbetstagarnas kvalitetskontroll är en viktig aspekt av crowdsourcing-system; vanligtvis upptar en stor del av den tid och pengar som investeras på crowdsourcing. I detta arbete utformar vi tekniker för att generera konfidensintervall för uppskattningar av arbetstagarnas felfrekvens, vilket möjliggör en bättre utvärdering av arbetstagarnas kvalitet. Vi visar att våra tekniker genererar korrekta konfidensintervall på en rad verkliga dataset, och visar stor tillämplighet genom att använda dem för att vräka dåligt presterande arbetare, och ge konfidensintervall på exaktheten i svaren.
Joglekar m.fl. REF beräknar både felfrekvensen för crowdsource-arbetare och konfidensintervallen för deras arbete.
Evaluating the crowd with confidence
{'venue': "KDD '13", 'journal': None, 'mag_field_of_study': ['Computer Science']}