Organisationerna lägger i allt större utsträckning ut tillfälligt arbete på entreprenad till en global publik av arbetstagare. Denna så kallade crowdsourcing har framgångsrikt tillämpats på en rad olika uppgifter, från att översätta text och kommentera bilder till att samla in information under krissituationer och anställa kvalificerad arbetskraft för att bygga komplex programvara. Traditionellt sett har dessa uppgifter varit små och skulle kunna slutföras av icke-professionella organisationer, men organisationerna börjar nu ge större och mer komplexa uppgifter till experter inom sina respektive områden. Dessa uppgifter omfattar till exempel utveckling och testning av programvara, webbdesign och produktmarknadsföring. Även om denna framväxande expertcrowdsourcing erbjuder flexibilitet och potentiellt lägre kostnader, medför den också nya utmaningar, eftersom arbetstagarna kan vara mycket heterogena, både i fråga om kostnader och kvalitet på det arbete de producerar. I synnerhet är nyttan av varje utkontrakterad uppgift osäker och kan variera avsevärt mellan olika arbetstagare och även mellan efterföljande uppgifter som tilldelas samma arbetstagare. Dessutom har arbetstagarna i realistiska miljöer begränsningar för hur mycket arbete de kan utföra och arbetsgivaren kommer att ha en fast budget för betalande arbetstagare. Med tanke på denna osäkerhet och de relevanta begränsningarna är arbetsgivarens mål att tilldela arbetstagarna uppgifter för att maximera den totala nytta som uppnås. För att formalisera denna expert crowdsourcing problem, introducerar vi en ny multi-armad bandit (MAB) modell, den avgränsade MAB. Dessutom utvecklar vi en algoritm för att lösa den effektivt, kallad begränsad ε-först, som fortskrider i två steg: prospektering och exploatering. Under undersökningen använder den först εB av sin totala budget B för att lära sig uppskattningar av arbetarnas kvalitetsegenskaper. Sedan, under exploatering, använder den återstående (1 - ε) B för att maximera den totala nyttan baserat på dessa uppskattningar. Med hjälp av denna teknik kan vi härleda en O B 2 3 övre gräns på dess prestanda ånger (dvs. den förväntade skillnaden i nytta mellan vår algoritm och den optimala), vilket innebär att när budgeten B ökar, ångra tenderar till 0. Utöver detta teoretiska förskott tillämpar vi vår algoritm på verkliga data från oDesk, en framstående expert crowdsourcing webbplats. Med hjälp av data från verkliga projekt, inklusive historiska projektbudgetar, expertkostnader och kvalitetsbetyg, visar vi att vår algoritm överträffar befintliga crowdsourcing metoder med upp till 300%, samtidigt som vi uppnår upp till 95% av en hypotetisk optimal med full information.
Under de senaste åren har Multi-Armed Bandits-baserad metod REF föreslagits för crowdsourcing.
Efficient crowdsourcing of unknown experts using bounded multi-armed bandits
{'venue': 'Artif. Intell.', 'journal': 'Artif. Intell.', 'mag_field_of_study': ['Computer Science']}