Det finns en ökande popularitet i crowdsourcing data märkning uppgifter till icke-experter arbetstagare eller notatorer rekryteras genom kommersiella internettjänster som Amazon Mechanical Turk. Dessa crowdsourcing-arbetare måste få betalt för varje etikett de tillhandahåller, medan en uppdragsgivare vanligtvis bara har en begränsad budget för datamärkning. Det är därför önskvärt att ha en optimal politik för att klokt fördela budgeten mellan arbetstagare och datainstanser som måste märkas genom att överväga arbetstagarnas tillförlitlighet och uppgiftssvårigheter så att kvaliteten på de slutligen aggregerade etiketterna kan maximeras. Vi formulerar ett sådant budgetanslagsproblem som en Bayesian Markov-beslutsprocess (MDP) som samtidigt leder lärande och beslutsfattande. Inom vår ram kan man uppnå en optimal fördelningspolitik genom att tillämpa dynamisk programplanering (DP), men DP blir snabbt outtractally intractable när problemets storlek ökar. För att lösa denna utmaning föreslår vi en beräkningsmässigt effektiv approximativ politik som kallas optimistisk kunskapsgradientpolitik. Experiment på både syntetiska och verkliga data visar att vår politik på samma budgetnivå resulterar i högre kvalitetsmärkning än befintlig politik.
Eftersom vi också antar en Bayesian Markov beslutsprocess med en variant av kunskapsgradient policy, andan i vår metod liknar den i REF.
Statistical Decision Making for Optimal Budget Allocation in Crowd Labeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}