Att mäta effektiviteten i informationssökningen för sökmotorer på World Wide Web är kostsamt på grund av den mänskliga relevansen. Men både för företag och människor är det viktigt att känna till de mest effektiva sökmotorerna på webben, eftersom sådana sökmotorer hjälper sina användare att hitta fler relevanta webbsidor med mindre ansträngning. Dessutom kan denna information användas för flera praktiska ändamål. I denna studie introducerar vi automatisk sökmotorutvärderingsmetod som ett effektivt och effektivt utvärderingsverktyg för sådana system. Experimenten baserade på åtta sökmotorer, 25 frågor, och binära användarrelevans bedömningar visar att vår metod ger resultat som överensstämmer med mänskliga-baserade utvärderingar. Det visas att de observerade sammansättningarna är statistiskt signifikanta. Detta indikerar att den nya metoden kan användas framgångsrikt i utvärderingen av Web sökmotorer.
I vårt senaste arbete REF introducerar vi en ny metod som kallas Automatic Web Search Engine Evaluation Methodology (AWSEEM) för att ersätta människobaserade relevansbedömningar med en uppsättning automatiskt genererade relevansbedömningar.
Automatic performance evaluation of Web search engines
{'venue': 'INFORMATION PROCESSING AND MANAGEMENT', 'journal': None, 'mag_field_of_study': ['Computer Science']}