Crowdsourcing används i allt högre grad för att lösa enkla uppgifter som bildmärkning och objektmärkning, samt mer komplexa uppgifter, där crowdarbetare samarbetar i processer med beroende av varandra. För hela skalan av komplexitet, forskning har gett många mönster för att samordna crowd arbetare för att optimera crowd noggrannhet, effektivitet och kostnad. Processdesigners vet dock ofta inte vilket mönster som ska gälla för ett problem som finns när man utformar nya applikationer för crowdsourcing. I den här artikeln föreslår vi att lösa detta problem genom att systematiskt utforska designutrymmet för komplexa crowdsourced uppgifter via automatiserad rekombination och auto-experiment för en fråga i hand. I synnerhet föreslår vi en strategi för att hitta den optimala processen för ett givet problem genom att definiera problemets djupa struktur i termer av dess abstrakta operatörer, generera alla möjliga alternativ via (åter)kombinationen av den abstrakta djupa strukturen med konkreta genomföranden från ett Processarkiv, och sedan etablera det bästa alternativet via auto-experiment. För att utvärdera vårt tillvägagångssätt implementerade vi PPLib (uttalas "People Lib"), ett programbibliotek som möjliggör automatisk rekombination av kända processer som lagras i ett enkelt extensible Process Repository. Vi utvärderade vårt arbete genom att generera och driva en uppsjö av processkandidater i två scenarier på Amazons Mechanical Turk följt av en meta-utvärdering, där vi tittade på skillnaderna mellan de två utvärderingarna. Vårt första scenario tog upp problemet med textöversättning, där vår automatiska rekombination producerade flera processer vars prestanda nästan matchade riktmärket som fastställts av en expertöversättning. I vår andra utvärdering fokuserade vi på textförkortning; vi genererade automatiskt 41 crowd process kandidater, bland dem variationer av den väletablerade Find-Fix-Verifiera processen. Medan Find-Fix-Verifiera fungerade bra i denna miljö, vår rekombination motor producerade fem processer som upprepade gånger gav bättre resultat. Vi avslutar artikeln genom att jämföra de två inställningar där rekombinatorn användes, och empiriskt visar att de enskilda processerna utfördes olika i de två inställningarna, vilket fick oss att hävda att det inte finns någon enande formel, vilket understryker nödvändigheten av rekombination.
PPLib REF använder på liknande sätt principen om processrekombination, men stöder automatisk rekombination och sammansättning av delprocesser (operatörer) i sökandet efter en optimal process för en given uppgift.
PPLib: Toward the Automated Generation of Crowd Computing Programs Using Process Recombination and Auto-Experimentation
{'venue': 'TIST', 'journal': None, 'mag_field_of_study': ['Computer Science']}