Den empiriska undersökningen av effektiviteten i systemen för informationshämtning (IR) kräver en testsamling, en uppsättning frågeämnen och en rad relevanta bedömningar som görs av mänskliga bedömare för varje fråga. Tidigare experiment visar att skillnader i bedömningar av människans relevans inte påverkar återhämtningssystemens relativa prestanda. På grundval av denna iakttagelse föreslår och utvärderar vi ett nytt tillvägagångssätt för att ersätta bedömningar av den mänskliga relevansen med en automatisk metod. Rankningen av hämtningssystem med vår metodik korrelerar positivt och i hög grad med den hos människabaserade utvärderingar. I experimenten utgår vi från en webliknande ofullkomlig miljö: indexeringsinformationen för alla dokument är tillgänglig för rankning, men vissa dokument kanske inte är tillgängliga för hämtning. Sådana villkor kan bero på radering av dokument eller nätproblem. Vår metod att simulera ofullkomliga miljöer kan användas för bedömning av sökmotorer på webben och för att uppskatta effekterna av nätverksförhållandena (t.ex. nätotillförlitlighet) på IR-systemets prestanda.
För automatisk rankning av hämtningssystem i ofullkomliga miljöer använder vi ett tillvägagångssätt som liknar AWSEEM och får lovande resultat som i hög grad överensstämmer med det mänskliga omdömet REF.
Automatic ranking of retrieval systems in imperfect environments
{'venue': "SIGIR '03", 'journal': None, 'mag_field_of_study': ['Computer Science']}