I detta dokument behandlas det upprepade förvärvet av etiketter för dataobjekt när märkningen är ofullständig. Vi undersöker förbättringen (eller bristen på sådan) av datakvaliteten genom upprepad märkning, och fokuserar särskilt på förbättring av utbildningsetiketter för övervakad induktion. Med outsourcing av små uppgifter blir lättare, till exempel via Rent-A-Coder eller Amazons Mechanical Turk, är det ofta möjligt att få mindre än expert märkning till låg kostnad. Med lågkostnadsmärkning kan det bli betydligt dyrare att förbereda den omärkta delen av uppgifterna än att märka dem. Vi presenterar strategier för upprepad märkning av ökad komplexitet, och visar flera huvudsakliga resultat. i) Upprepad märkning kan förbättra märkningens kvalitet och modellkvalitet, men inte alltid. ii) När etiketter är högljudda kan upprepad märkning vara att föredra framför en enda märkning även i den traditionella miljön där etiketterna inte är särskilt billiga. iii) Så snart kostnaden för att behandla de omärkta uppgifterna inte är gratis, kan även den enkla strategin att märka allt flera gånger ge betydande fördelar. (iv) Upprepad märkning av en noggrant vald uppsättning punkter är i allmänhet att föredra, och vi presenterar en robust teknik som kombinerar olika begrepp av osäkerhet för att välja datapunkter för vilka kvaliteten bör förbättras. Slutsatsen: Resultaten visar tydligt att när märkningen inte är perfekt är selektivt förvärv av flera etiketter en strategi som datagrävarna bör ha i sin repertoar.
REF analyserade effekten av upprepad märkning och visade att det beror på den relativa kostnaden för att få ett omärkt exempel och kostnaden för märkning.
Get another label? improving data quality and data mining using multiple, noisy labelers
{'venue': 'KDD', 'journal': None, 'mag_field_of_study': ['Computer Science']}