I detta dokument undersöks överenskommelsen om relevansbedömningar mellan officiella TREC-domar och dem som härrör från ett interaktivt IR-experiment. Resultaten visar att 63% av de dokument som bedöms relevanta av våra användare matchade officiella TREC-domar. Flera faktorer bidrog till skillnaderna i avtalen: antalet inhämtade relevanta dokument, antalet relevanta dokument som bedömts, systemets effektivitet per ämne och rangordningen av relevanta dokument.
REF hittade till och med 65 % avtal med de officiella TREC-domarna i ett interaktivt IR-experiment.
Relevance judgments between TREC and Non-TREC assessors
{'venue': "SIGIR '08", 'journal': None, 'mag_field_of_study': ['Computer Science']}