Crowdsourcing används nu i stor utsträckning för att ersätta bedömning eller utvärdering av en expertmyndighet med en samlad utvärdering från ett antal icke-experter, i tillämpningar som sträcker sig från betygsättning och kategorisering av onlineinnehåll hela vägen till utvärdering av studentuppdrag i massivt öppna onlinekurser (MOOCs) via peer grading. En nyckelfråga i dessa miljöer, där direkt övervakning av både ansträngning och noggrannhet är ogenomförbar, är att uppmuntra agenter i "folkmassan" att anstränga sig för att göra bra utvärderingar, samt att sanningsenligt rapportera sina utvärderingar. Vi studerar utformningen av mekanismer för crowdsourcing när arbetstagarna strategiskt väljer både sina rapporter och den ansträngning de lägger ned på sina utvärderingar. Detta leder till en ny familj av information som framkallar problem med omärklig grundsanning, där en agents skicklighet-sannolikhet med vilken hon korrekt utvärderar den underliggande marken sanning-endogen bestäms av hennes strategiska val av hur mycket ansträngning att lägga in i uppgiften. Vårt huvudsakliga bidrag är en enkel, ny, mekanism för binär information som framkallar flera uppgifter när agenter har endogena egenskaper, med följande egenskaper: (i) Utöva maximal ansträngning följt av sanningsenlig rapportering av observationer är en Nash jämvikt. (ii) Detta är jämvikten med maximal ersättning till alla agenter, även när agenter har olika maximal effektivitet, kan använda blandade strategier, och kan välja en annan strategi för var och en av sina uppgifter. Vår mekanism för att framkalla information kräver endast minimala gränser på tidigare, ber agenter att endast rapportera sina egna utvärderingar, och kräver inte några villkor på ett divergerande antal agentrapporter per uppgift för att uppnå sina incitament egenskaper. Huvudidén bakom vår mekanism är att använda förekomsten av flera uppgifter och betyg för att uppskatta en rapporteringsstatistik för att identifiera och bestraffa lågansträngningsavtal-mekanismen belöna agenter för att komma överens med en annan "referens" rapport om samma uppgift, men också straffar för blind överenskommelse genom att subtrahera denna statistiska term, utformad så att agenter får belöningar endast när de anstränger sig i sina observationer.
REF design mekanismer för crowdsourced binär märkning, där en samling av agenter uppmanas att ge binära etiketter till en samling uppgifter, och designern vill uppmuntra dem via monetära belöningar för att utöva maximal ansträngning för varje uppgift.
Crowdsourced judgement elicitation with endogenous proficiency
{'venue': "WWW '13", 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}