Utvecklingen av arbetsmarknaden på nätet gör det mycket lättare att använda enskilda människor för att utvärdera material för datainsamling och analys inom samhällsvetenskapen. I detta dokument rapporterar vi resultaten av ett experiment - som genomförs på en arbetsmarknad på nätet - som mätte effektiviteten i en samling sociala och ekonomiska incitamentssystem för att motivera arbetstagarna att utföra en kvalitativ, innehållsanalys. På det hela taget presterade arbetstagarna bättre än slumpen, men resultaten varierade avsevärt beroende på uppgiftssvårigheter. Vi finner att behandlingstillstånd som uppmanade arbetstagarna att prospektivt tänka på svaren från sina kamrater - när de kombineras med ekonomiska incitament - producerade mer exakta resultat. Andra behandlingar hade i allmänhet svaga effekter på kvaliteten. Arbetstagare i Indien presterade betydligt sämre än amerikanska arbetare, oavsett behandlingsgrupp. Vi jämför incitamentsprogram i ett online-arbetsmarknadsexperiment och finner att be ämnen att överväga svaren från sina kamrater producerar mer exakt prestanda på en innehållsanalys uppgift. Arbetstagare i Indien och arbetare med lägre webb-browsing färdigheter presterade också sämre än sina kamrater på uppgiften.
I REF, Shaw m.fl. genomfört ett försök för att jämföra effektiviteten hos en samling sociala och finansiella incitamentsmekanismer.
Designing incentives for inexpert human raters
{'venue': "CSCW '11", 'journal': None, 'mag_field_of_study': ['Computer Science']}