Intresset för crowdsourcing för datamärkning ökar snabbt. Genom crowdsourcing kan ett stort antal etiketter ofta snabbt samlas in till låga kostnader. Men de märkningar som erbjuds av crowdsourcing-arbetarna är vanligtvis inte av hög kvalitet. I det här dokumentet föreslår vi en minimax-villkorad entropiprincip för att dra slutsatser om sanningen från bullriga crowdsourced-etiketter. Enligt denna princip härleder vi en unik probabilistisk märkningsmodell som tillsammans är parameteriserad av arbetstagarnas förmåga och objektsvårigheter. Vi föreslår också en objektiv mätprincip och visar att vår metod är den enda metod som uppfyller denna objektiva mätprincip. Vi validerar vår metod genom en mängd riktiga crowdsourcing dataset med binära, flerklassiga eller ordinala etiketter.
I ett nyligen publicerat dokument föreslås en algoritm baserad på begreppet minimax villkorad entropi REF, baserad på någon probabilistisk modell som gemensamt parameteriseras av arbetarnas tillförlitlighet och uppgiftssvårigheter.
L G ] 2 5 M ar 2 01 5 Regularized Minimax Conditional Entropy for Crowdsourcing