Abstract Modern informationssökning (IR) testsamlingar har vuxit i storlek, men den tillgängliga arbetskraften för relevansbedömningar har mer eller mindre förblivit konstant. Således, hur man tillförlitligt utvärdera och jämföra IR-system med hjälp av ofullständiga relevansdata, där många dokument finns som aldrig undersöktes av relevansbedömarna, får mycket uppmärksamhet. I denna artikel jämförs IR-måttens robusthet med ofullständiga relevansbedömningar, med hjälp av fyra olika uppsättningar testsamlingar med graderad relevans med inlämnade körs-TREC 2003 och 2004 robusta spårdata och NTCIR-6 japanska och kinesiska IR-data från den tvärspråkiga uppgiften. Efter tidigare arbete minskar vi artificiellt de ursprungliga relevansdata för att simulera IR-utvärderingsmiljöer med extremt ofullständiga relevansdata. Vi undersöker sedan effekten av denna minskning på diskriminativ effekt, som vi definierar som andelen systempar med en statistiskt signifikant skillnad för en given sannolikhet för typ I-fel, och på Kendalls ranknings korrelation, som återspeglar den totala likheten mellan två systemrankningar enligt två olika mått eller två olika relevansdatauppsättningar. Enligt dessa experiment, Q 0, nDCG 0 och AP 0 föreslås av Sakai är överlägsna bpref föreslås av Buckley och Voorhees och till Rank-Biased Precision föreslås av Moffat och Zobel. Vi påpekar också vissa svagheter i bpref och Rank-Biased Precision genom att undersöka deras formella definitioner.
Sakai och Kando Ref har pekat på vissa svagheter i detta mått.
On information retrieval metrics designed for evaluation with incomplete relevance assessments
{'venue': 'Information Retrieval', 'journal': 'Information Retrieval', 'mag_field_of_study': ['Computer Science']}