Utvärdering av system för insamling av information är en av huvuduppgifterna i informationsinsamlingen. Problemen är bland annat oförmågan att uttömmande märka alla dokument för ett ämne, bristande allmängiltighet från ett litet antal ämnen och att integrera variabiliteten i system för hämtning. Tidigare arbete behandlar utvärdering av system, rankning av frågor efter svårighet, och rankning av enskilda hämtningar efter prestanda. Det finns metoder när det gäller få och inte ens relevanta domar. Vårt fokus ligger på noll-dömande prestanda förutsägelse av individuella hämtningar. En vanlig brist i tidigare tekniker är antagandet av okorrelerade dokumentresultat och bedömningar. Om dokument är inbäddade i ett högdimensionellt utrymme (som de ofta är), kan vi tillämpa tekniker från rumslig dataanalys för att upptäcka korrelationer mellan dokumentresultat. Vi finner att den låga korrelationen mellan en rad lokalt nära dokument ofta innebär en dålig hämtningsprestanda. Jämfört med en toppmodern baslinje, visar vi att den rumsliga analysen av hämtning poäng ger betydligt bättre förutsägelse prestanda. Dessa nya prediktorer kan också införlivas med klassiska prediktorer för att förbättra prestandan ytterligare. Vi beskriver också det första storskaliga experimentet för att utvärdera noll-dom prestanda förutsägelse för ett stort antal hämtningssystem över en mängd samlingar på flera språk.
Diaz Ref fann till exempel att "låg korrelation mellan poäng av lokalt nära dokument ofta innebär en dålig hämtningsprestanda" och föreslog en rumslig analys av hämtningspoäng för QPP.
Performance prediction using spatial autocorrelation
{'venue': 'SIGIR', 'journal': None, 'mag_field_of_study': ['Computer Science']}