Crowdsourcing har vuxit fram som en ny metod för att få kommentarer till träningsmodeller för maskininlärning. Det finns många varianter av denna process, men de skiljer sig i hög grad åt i sin metod att motivera ämnen att bidra och omfattningen av sina tillämpningar. Hittills har det dock ännu inte gjorts en studie som hjälper en utövare att bestämma vilken form en annoteringsansökan ska ta för att på bästa sätt nå sina mål inom ramen för ett projekts begränsningar. Vi ger först en facetterad analys av befintliga crowdsourcing annotation applikationer. Vi använder sedan vår analys för att diskutera våra rekommendationer om hur utövare kan dra nytta av crowdsourcing och diskutera vår syn på potentiella möjligheter på detta område. Det är en accepterad tradition inom naturlig språkbearbetning (NLP) att använda kommenterad korpora för att få maskininlärda modeller för att utföra många uppgifter: maskinöversättning, tolkning och sammanfattning. Med tanke på att maskininlärare bara kan utföra uppgifter så bra som deras indata annotation, mycket arbete i notation centrerad på att definiera höga kvalitetsstandarder som var tillförlitliga och reproducerbara, och hitta lämpligt utbildad personal för att utföra sådana uppgifter. Penn Treebank och WordNet är förmodligen de mest synliga exemplen i denna gemenskap. Även nu fortsätter denna högkvalitativa rutt att användas i systerprojekt för att utöka dessa resurser till andra språk: HowNet (Dong och Dong, 2006) och EuroWordNet (Jacquin m.fl., 2007). Ett alternativ till högkvalitativ notering är att använda sig av kvantitet och regeln att redundans i stora data skulle agera för att filtrera bort buller. Uppkomsten av webben gjorde detta till en verklig möjlighet, där rå enspråkig och parallell corpora, termräkningar och användargenererat innehåll gjorde det möjligt att utvinna stora mängder statistiska data för att träna NLP-modeller. I Web 2.0 står det också klart att webben har gjort människor tillgängliga som resurser att dra nytta av. Denna trend når en logisk slutsats när webben fungerar för att nätverka mänskliga tjänsteleverantörer med dem som söker sina tjänster. Även om denna process beskrivs av många olika termer, använder vi termen crowdsourcing i hela detta papper. Crowdsourcing är en strategi som kombinerar allmänhetens ansträngningar att lösa ett problem eller producera en viss sak. "Crowdsourcing" har använts i den populära pressen för att betona att arbetarna inte behöver vara experter utan lekmän eller amatörer. Även om människor kan användas för att tillhandahålla data eller tjänster i många former, begränsar vi i detta arbete vår uppmärksamhet på kommentarer för data som är användbara för NLP-uppgifter, och fokuserar inte på den distribuerade karaktären av crowdsourcing. Crowdsourcing tar många former som kräver olika former av motivation för att uppnå slutmålet att kommentera. I spel med ett syfte (nedan, GWAP), är den viktigaste drivkraften roligt (von Ahn och Dabish, 2008a,b). Annoteringsuppgifter är utformade för att ge underhållning åt det mänskliga ämnet under korta sessioner. I Amazon Mechanical Turk (MTurk) är den viktigaste drivkraften vinst. Leverantörer skapar och listar partier av små jobb som kallas Human Intelligence Tasks (HITs) på Amazons Mechanical Turk webbplats, som kan göras av allmänheten. Arbetstagare som utför dessa uppgifter krediteras i mikrobetalningar. Även om säkert inte den enda betalda arbetskraft inköpsmiljö, Mekanisk Turks nuvarande allestädes närvarande gör "MTurk" en användbar etikett för att hänvisa till denna och andra former av dator medierade arbete. Crowds Vishet (WotC) är en annan form av crowdsourcing. WotC-utplaceringar gör det möjligt för allmänheten att samarbeta för att bygga en offentlig resurs, för att förutsäga händelseresultat eller för att uppskatta svårförutsägbara mängder. Wikipedia, den mest kända fielded WotC ansökan, har olika drivkrafter som har förändrats över tid. Inledningsvis var altruism och indirekt nytta faktorer: människor bidrog med artiklar till Wikipedia för att hjälpa andra men också för att bygga en resurs som i slutändan skulle hjälpa sig själva. Som Wikipedia mognat, prestige att vara en regelbunden bidragsgivare eller redaktör också saktade leden av bidragsgivare från publiken till en mer stabil formaliserad grupp (Suh et al., 2009). Det är viktigt att inse att dessa olika drivkrafter på ett avgörande sätt formar varje form av crowdsourcing, ändra viktiga egenskaper. Lika viktigt är att notera att utrymmet för möjliga motiv och dimensioner av crowdsourcing inte har utforskats fullt ut. Med tanke på råa språkliga data, vilket verktyg för notering skulle vara mest givande att sträva efter? Hittills har det inte funnits något systematiskt system för eventuella projekt att följa. Dessa brister i det nuvarande arbetet är allvarliga, och vi försöker ta itu med dem. I synnerhet vi: • dekonstruera crowdsourced annotation applikationer i relevanta dimensioner och sedan ge vår subjektiva analys av publicerade crowdsourced NLP-applikationer med hjälp av ovanstående dimensioner (avsnitt 0.3); • analysera egenskaperna hos de tre genrer av crowdsourcing metoder och göra rekommendationer för de mest effektiva sätten att erhålla annoteringar för prov NLP uppgifter (avsnitt 0.4); • analysera dessa crowdsourcing instanser och föreslå bättre crowdsourcing plattformar (avsnitt 0,5); • diskutera framtiden för crowdsourcing annotations i slutsatsen (avsnitt 0.6). Även om crowdsourcing är en ganska ny utveckling, är det erkänt som ett växande och spirande forskningsområde, vilket framgår av denna tidskrifts specialnummer samt flera verk som har producerat en översikt över dessa metoder från olika perspektiv. Mest relaterad i omfattning är Quinn och Bederson (2009) som beskriver en taxonomi av crowdsourcing (benämns "Distributed Human Computation" i deras papper). De delar in crowdsourcing i sju genrer: GWAP, Mechanized Labor (som vi kallar "MTurk"), Visdom av Crowds, Crowdsourcing, Dual-Purpose Work, Grand Search, Human-baserade Genetiska Algorithms och Knowledge Collection från Volontär Bidragsgivare. De dekonstruerar dessa genrer längs sex dimensioner och diskuterar även framtida riktningar för att utnyttja crowdsourcing för att lösa andra datorproblem. Även om säkert en användbar utgångspunkt, genrerna är allmänt definierade och inte specifik för uppgiften att annotera. Som sådan är några av deras genrer irrelevanta och vi känner oss bättre kombinerade ur ett kommentarsperspektiv. Samtidigt, Yuen et al. (2009) också undersökt crowdsourcing applikationer, kategorisera dem i sex klasser: initiativtagare mänskliga beräkningar, distribuerade mänskliga beräkningar, sociala spelbaserade mänskliga beräkningar med volontärer, betalda ingenjörer och online-spelare. Deras undersökning analyserar crowdsourcing ur ett socialt spelperspektiv, att differentiera klasserna baserat på spelstruktur och mekanismer. De tar också upp prestandaaspekterna i sådana system och presenterar referenser till primära studier som beskriver metoder för att bäst mäta tillförlitligheten hos resultat från crowdsourcing-ramar. Yuen m.fl.Dess arbete går emellertid inte utöver dess undersökning för att antyda någon kritik eller analys av den befintliga crowdsourcing-litteraturen. Bortsett från dessa två undersökningar som undersökte crowdsourcing i sin bredare definition, studier har också analyserat specifika teoretiska aspekter. von Ahn och Dabish (2008a) presentera allmänna designprinciper för GWAPs, De artikulerar tre spelklasser ( 2 "mallar"). Varje mall definierar de grundläggande reglerna och vinstvillkoren för ett spel på ett sätt som gör det i spelarnas intresse att utföra den avsedda beräkningen. De beskriver också en uppsättning designprinciper för att komplettera mallarna, och föreslår mätvärden för att definiera GWAP-beräkning framgång när det gäller att maximera det verktyg som erhålls per spelare timme spenderas. På liknande sätt kartlade Jain och Parkes (2009) befintliga spelteoretiska modeller för deras användning i crowdsourcing-modeller, med utmaningar i riktning mot framåtgående teori som kan möjliggöra bättre design. Med fokus på användarens perspektiv föreslår Roi (2009) att deltagandet kan förbättras genom antingen användbara verktyg eller underhållande distraktioner som resulterar i produktion av önskade data. De utvecklade verktyg för att hjälpa användare att hantera sina webbbokmärken i en social miljö, vilket ger en taggning spel för användare att ansluta resurser från varandra. Denna miljö hjälper systemet att förvärva ytterligare kunskap om taggar och resurser implicit. Kazai m.fl. (2009) föreslår en metod för kollektiv insamling av relevansbedömningar med hjälp av en social spelmodell för att få användarna att engagera sig. De diskuterar tillvägagångssättet i detalj och presenterar resultaten av en pilotstudie som genomförts på en bok corpus. Analysen avslöjade förhållandet mellan systemets förmåner, det sociala spelets incitament och bedömarnas beteende. Även om det har funnits ett tydligt intresse av att utnyttja crowdsourcing, har det sammanfattande arbetet hittills koncentrerats på dess mekanismer och utformning. Undersökningar har beskrivit tidigare arbete i varje crowdsourcing-mekanismer men har inte jämfört dessa tillämpningsfall med en enhetlig uppsättning kriterier. Dessutom har det inte gjorts mycket arbete för att ena dessa ramar när det gäller att kommentera uppgifter om naturligt språk, även om det uppenbarligen finns mycket uttryckliga intressen på detta område, vilket framgår av nyligen genomförda workshops om MTurk-ramverket (Callison-Burch och Dredze, 2010) och om gemensamt konstruerade semantiska resurser (Gurevych och Zesch, 2009, 2010) Som vi vet har det inte funnits mycket som beskriver vilken crowdsourcing modell som är lämplig i vilken situation eller uppgift. Det står inte heller klart när den traditionella formen av manuell anmärkning från lokala experter är lämplig - är dagarna för högt betalda expertanmärkning över? En utövare i behov av annoteringar kan inte förlita sig på den befintliga litteraturen för att rekommendera vilken form av annotering hennes specifika uppgift bör ta. WordNet känner definitioner som möjliga etiketter. De fick mer än 100.000 namngivna fall av en skara frivilliga. Med tanke på dessa brister återbesöker vi först crowdsourcing ansökningar för att destillera en uppsättning dimensioner som lämpar sig för att karakterisera dem. Detta arbete skiljer sig från Quinn och Bederson (2009), då vi konstruerar våra fem dimensioner ur utövarens perspektiv. Det finns dock förvisso överlappningar, eftersom vissa av deras dimensioner bevaras i vår analys, som är markerade med asterisker. Det finns förvisso också ett samband mellan dimensionerna. Många av våra fem dimensioner -motivation, annotering kvalitet, uppställning ansträngning, mänskligt deltagande och data karaktär - har inre aspekter, som vi kortfattat diskuterar i sin tur. En viktig del av vårt arbete är också att tilldela en facett en rad möjliga värden. Detta 3
Crowdsourced WSD Många NLP-områden har tillämpat crowdsourcing REF; av dessa områden är det mest relaterade till detta arbete crowdsourcing ord sense annotations.
Perspectives on Crowdsourcing Annotations for Natural Language Processing
{'venue': None, 'journal': None, 'mag_field_of_study': ['Computer Science']}