Numera används crowdsourcing i stor utsträckning för att samla in träningsdata för att lösa klassificeringsproblem. Men crowdsourced etiketter är ofta bullriga, och det finns ett prestanda gap mellan klassificering med bullriga etiketter och klassificering med mark-sanning etiketter. I det här dokumentet överväger vi hur man ska tillämpa oraklebaserad rengöring för att minska gapet. Vi föreslår TARS, en etikettrengöringsrådgivare som kan ge två värdefulla råd till dataforskare när de behöver träna eller testa en modell med bullriga etiketter. För det första kan TARS använda testdata för att uppskatta hur väl modellen kommer att utföra w.r.t, med tanke på ett testdataset med bullriga etiketter och en klassificeringsmodell. Mark-sanning-etiketter. För det andra kan TARS i modellutbildningsstadiet, med tanke på ett träningsdataset med bullriga etiketter och en klassificeringsalgoritm, avgöra vilken etikett som ska skickas till ett orakel för att rengöras så att modellen kan förbättras mest. För den första rådgivningen föreslår vi en effektiv skattningsteknik och studerar hur man beräknar konfidensintervall för att begränsa dess skattningsfel. För den andra rådgivningen föreslår vi en ny rengöringsstrategi tillsammans med två optimeringstekniker, och illustrerar att den är överlägsen de befintliga rengöringsstrategierna. Vi utvärderar TARS på både simulerade och verkliga datauppsättningar. Resultaten visar att (1) TARS kan använda bullriga testdata för att korrekt uppskatta en modells verkliga prestanda för olika utvärderingsmått; och (2) TARS kan förbättra modellens noggrannhet med en större marginal än de befintliga rengöringsstrategierna, för samma rengöringsbudget. Referensformat för PVLDB:
I REF föreslår författarna TARS, som är en etikettrengöringsrådgivare som ger värdefull information när en modell utbildas eller testas med bullriga etiketter.
Cleaning Crowdsourced Labels Using Oracles For Statistical Classification
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}