Skapandet av gyllene standarddatauppsättningar är en kostsam verksamhet. Optimalt mer än en dom per handling erhålls för att säkerställa en hög kvalitet på kommentarer. I detta sammanhang undersöker vi hur mycket kommentarer från experter skiljer sig från varandra, hur olika uppsättningar av kommentarer påverkar rangordningen av system och om dessa kommentarer kan erhållas med en crowdsourcing-strategi. Denna studie tillämpas på annoteringar av bilder med flera begrepp. En delmängd av de bilder som användes i den senaste tävlingen ImageCLEF Photo Annotation kommenterades manuellt av expertannoterare och icke-experter med Mekanisk Turk. Inter-annotator-avtalet beräknas på en bildbaserad och konceptbaserad nivå med hjälp av majoritetsröst, noggrannhet och kappa-statistik. Dessutom används Kendall τ och KolmogorovSmirnovs korrelationstest för att jämföra rangordningen av system avseende olika markbaserade sanningar och olika utvärderingsåtgärder i ett referensscenario. Resultaten visar att även om överenskommelsen mellan experter och icke-experter varierar beroende på vilken åtgärd som används, är dess inflytande på de rangordnade förteckningarna över systemen ganska litet. Sammanfattningsvis kan majoriteten av de röster som tillämpas för att generera en not av flera yttranden, filtrera bullriga bedömningar av icke-experter i viss utsträckning. Den därpå följande notuppsättningen är av jämförbar kvalitet med experternas anteckningar.
Till exempel finner REF att publiken kan reproducera de etiketter som genereras av experter i labbet.
How reliable are annotations via crowdsourcing: a study about inter-annotator agreement for multi-label image annotation
{'venue': "MIR '10", 'journal': None, 'mag_field_of_study': ['Computer Science']}