Liksom i de flesta informationssökningsstudier spelar utvärderingen en viktig roll i webbsökningsforskningen. Både o ine och online utvärderingsmått används för att mäta prestandan hos sökmotorer. O ine mätvärden baseras vanligtvis på relevans bedömningar av frågedokument par från bedömare medan online mätvärden utnyttja användarens beteende data, såsom klick, samlas in från sökmotorer för att jämföra sökalgoritmer. Även om båda typerna av IR-utvärderingsmått har uppnått framgång, i vilken utsträckning kan de förutsäga användarnöjdhet fortfarande undervärderas. För att belysa denna forskningsfråga, meta-bedömer vi en rad befintliga online- och o ine-mått för att studera hur väl de kan dra slutsatsen att användaren är nöjd i olika sökscenarier. Vi nd att båda typerna av utvärderingsmått i sig kan korrelera med användarnöjdhet medan de re ect tillfredsställelse från olika perspektiv för olika sökuppgifter. O ine mätvärden vara i linje med användarnöjdheten i homogen sökning (dvs. tio blå länkar) medan online-mått överträffar när vertikala resultat federeras. Slutligen föreslår vi också att inkorporera mus svävande information i befintliga online utvärderingsmått, och empiriskt visa att de er anpassa sig till sökanvändarnöjdhet än klick-baserade online-mått.
Även om båda typerna av utvärderingsmått har uppnått framgång, finns det fortfarande frågor om huruvida de kan förutsäga "faktisk" användarnöjdhet REF.
Meta-evaluation of Online and Offline Web Search Evaluation Metrics
{'venue': "SIGIR '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}