För att kunna bedöma söksystemens relativa prestanda krävs att man använder en provsamling med en fördefinierad uppsättning frågor och motsvarande relevansbedömningar. Den senaste processen för att bygga testsamlingar innebär att använda ett stort antal frågor och välja en uppsättning dokument, som lämnas in av en grupp deltagande system, som ska bedömas per fråga. Den första uppsättningen domar kan dock vara otillräcklig för att på ett tillförlitligt sätt kunna utvärdera framtida ännu osedda system. I detta dokument föreslår vi en metod som utvidgar uppsättningen relevanta bedömningar när nya system håller på att utvärderas. Vi utgår från att det finns en begränsad budget för att bygga upp ytterligare relevanta bedömningar. Från de dokument som hämtas av de nya systemen skapar vi en pool av obedömda dokument. I stället för att fördela budgeten jämnt över alla frågor väljer vi först en undergrupp av frågor som är effektiva för att utvärdera system och sedan jämnt fördela budgeten endast över dessa frågor. Experimentella resultat av TREC 2004 Robust testinsamling visar hur överlägsen denna strategi för budgettilldelning är.
Till exempel Hosseini et al. I REF föreslogs en metod för urval av frågor för att förbättra återanvändningen av en testsamling.
Selecting a Subset of Queries for Acquisition of further Relevance Judgements
{'venue': 'ICTIR', 'journal': None, 'mag_field_of_study': ['Computer Science']}