Mänsklig språklig anteckning är avgörande för många naturliga språk bearbetning uppgifter men kan vara dyrt och tidskrävande. Vi utforskar användningen av Amazons Mechanical Turk system, en betydligt billigare och snabbare metod för att samla kommentarer från en bred bas av betalda icke-expert bidragsgivare över webben. Vi undersöker fem uppgifter: påverka igenkännande, ordlikhet, känna igen textförståelse, händelse temporal ordning, och ordförnimmelse disambiguation. För alla fem visar vi stor enighet mellan Mekaniska Turk icke-expertanteckningar och befintliga guldstandardetiketter som tillhandahålls av expertetiketter. För uppgiften att påverka igenkänning, visar vi också att använda icke-expert etiketter för utbildning maskininlärning algoritmer kan vara lika effektivt som att använda guld standard annoteringar från experter. Vi föreslår en teknik för partisk korrigering som avsevärt förbättrar notationskvaliteten på två uppgifter. Vi drar slutsatsen att många stora märkningsuppgifter effektivt kan utformas och utföras med denna metod till en bråkdel av de vanliga kostnaderna.
Denna inställning kan till exempel uppstå från crowdsourcing uppgifter; REF visade att använda flera icke-experter annoterare för att utbilda en klassificerare kan vara lika effektivt som att använda guld standard kommentarer från experter.
Cheap and Fast – But is it Good? Evaluating Non-Expert Annotations for Natural Language Tasks
{'venue': 'Conference On Empirical Methods In Natural Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}