Vi anser att problemet med att förvärva relevans bedömningar för informationssökning (IR) testsamlingar genom crowdsourcing när det inte finns några verkligt relevanta etiketter tillgängliga. Vi samlar in flera, möjligen bullriga, relevanta etiketter per dokument från arbetstagare med okänd märkningsnoggrannhet. Vi använder dessa etiketter för att dra slutsatsen att dokumentet är relevant baserat på två metoder. Den första metoden är den allmänt använda majoritetsomröstningen (MV) som avgör dokumentets relevans baserat på den etikett som fick flest röster och behandlar alla arbetstagare lika. Den andra är en probabilistisk modell som samtidigt uppskattar dokumentets relevans och arbetarnas noggrannhet med hjälp av förväntan maximisering (EM). Vi kör simuleringar och utför experiment med crowdsourced relevansetiketter från INEX 2010 Book Search track för att undersöka riktigheten och robustheten i relevansbedömningarna för de bullriga etiketterna. Vi observerar effekten av de härledda relevans bedömningarna på rangordningen av söksystem. Våra experimentella resultat visar att EM-metoden överträffar MV-metoden i relevansbedömningarnas och IR-systemens noggrannhet. Prestandaförbättringarna är särskilt märkbara när antalet etiketter per dokument är litet och etiketterna är av varierande kvalitet.
Hosseini m.fl. använde EM-ramverket för att lösa problemet med att förvärva relevans bedömningar för Book Search uppgifter genom crowdsourcing när inga verkliga relevans etiketter finns tillgängliga REF.
On aggregating labels from multiple crowd workers to infer relevance of documents
{'venue': 'ECIR', 'journal': None, 'mag_field_of_study': ['Computer Science']}