Soboroff, Nicholas och Cahan föreslog nyligen en metod för att utvärdera resultaten av hämtningssystem utan relevanta bedömningar. De visade att de systemutvärderingar som gjorts genom deras metod korrelerar med faktiska utvärderingar med hjälp av relevanta bedömningar i TREC-tävlingen. I detta arbete föreslår vi en förklaring till detta fenomen. Vi utformar en enkel åtgärd för att kvantifiera likheten av hämtningssystem genom att bedöma likheten av deras återvunna resultat. Sedan, med tanke på en samling av hämtningssystem och deras återvunna resultat, använder vi denna åtgärd för att bedöma den genomsnittliga likheten mellan ett system och de andra systemen i samlingen. Vi visar att utvärdera hämtningssystem enligt genomsnittlig likhet avkastning resultat ganska lik den metod som Soboroff et al., och vi visar vidare att dessa två tekniker är i själva verket mycket korrelerade. Således är teknikerna effektivt utvärdera och rangordna hämtningssystem genom "popularitet" i motsats till "prestanda". H.3.3 [Informationssökning och insamling]: Återhämtningsmodeller. Allmänna villkor: Teori, Experimentation. Nyckelord: Ranking Retrieval Systems. Soboroff, Nicholas och Cahan [2] föreslog nyligen en metod för att utvärdera hämtningssystem i avsaknad av relevanta bedömningar genom att (1) bygga en pool från de "top"-dokument som hämtas av de underliggande hämtningssystemen, (2) tilldela relevanta bedömningar slumpmässigt inom denna pool, och (3) bedöma prestanda hos de underliggande systemen med hjälp av dessa artificiellt genererade relevans bedömningar. Ett antal varianter av denna metod för att generera relevans bedömningar undersöktes, bland annat (1) bygga pooler på varierande djup, (2) titta på poolen av dokument som uppsättningar kontra multiset, och (3) tilldela relevans bedömningar på olika sätt inom poolen. De resulterande systembedömningarna och rangordningarna var väl korrelerade med faktiska TREC-rankningar i sina experiment. * Detta arbete stöds delvis av NSF Career Grant CCR-0093131 och NSF Grant 5-36955. Som Soboroff m.fl. påpekade drabbades dessa "pseudoutvärderingar" av ett vanligt fenomen. Medan huvuddelen av systemen klassificerades korrekt, var de bästa (och därför viktigaste) systemen konsekvent rankas med de dåliga resultat (se figur 1). Vår hypotes för detta fenomen är att dessa blinda metoder lider av en "massornas tyranni" effekt: de "bättre" systemen gör något väsentligt "differentierat" från de mer generiska systemen i konkurrensen och, i avsaknad av faktiska relevanta domar, straffas för detta faktum. Därför tror vi att systemen i själva verket utvärderas i termer av "popularitet" i stället för "prestation". För att verifiera denna hypotes, vi utformar en enkel åtgärd för likheten av två hämtningssystem baserat på likheten av deras återvunna resultat, och vi definierar "popularitet" av ett system genom dess genomsnittliga likhet med de andra systemen i samlingen. I experiment med TREC-data visar vi att bedömning av "systemprestanda" genom popularitet ger resultat som på ett slående sätt liknar de av metoderna för Soboroff et al. Dessutom visar vi att Soboroff-tekniken och utvärderingen av system genom "popularitet" i själva verket är starkt korrelerade. Således är dessa tekniker effektivt utvärdera och rangordna hämtningssystem genom "popularitet" i motsats till "prestanda".  RESULTAT
En relaterad metod föreslogs av Aslam och Savell REF, som utarbetade en åtgärd för att kvantifiera likheten mellan systemen för hämtning genom att bedöma likheten mellan deras hämtningsresultat.
On the effectiveness of evaluating retrieval systems in the absence of relevance judgments
{'venue': "SIGIR '03", 'journal': None, 'mag_field_of_study': ['Computer Science']}