I detta dokument presenteras resultat som jämför användarnas preferenser för sökmotorrankningar med effektivitetsmått som beräknas från en testsamling. Det fastställs att preferenser och utvärderingsåtgärder korrelerar: system som mäts som bättre på en testsamling föredras av användarna. Denna korrelation är etablerad för både "konventionell webbsökning" och för hämtning som betonar olika resultat. NDCG- och ERR-åtgärderna visade sig bäst korrelera med användarnas preferenser jämfört med ett urval av andra välkända åtgärder. Till skillnad från tidigare studier inom detta område, omfattade denna undersökning en stor population användare, samlade genom crowd sourcing, utsätts för ett brett spektrum av hämtningssystem, testsamlingar och sökuppgifter. Anledningar till användarens preferenser samlades också in och analyserades. Arbetet avslöjade ett antal nya resultat, men visade också att det finns mycket utrymme för framtida åtgärder för att förbättra effektiviteten för att bättre fånga användarnas preferenser.
Sanderson m.fl. I Ref studera korrelationen mellan användarnas preferenser och utvärderingsåtgärder och hävda att det finns mycket utrymme för att förfina effektivitetsåtgärderna för att bättre fånga användarnas tillfredsställelse och preferenser.
Do user preferences and evaluation measures line up?
{'venue': "SIGIR '10", 'journal': None, 'mag_field_of_study': ['Computer Science']}