Det standardiserade systembaserade utvärderingsparadigmet har fokuserat på att bedöma hämtningssystemens prestanda genom att tjäna de bästa resultaten för en enda fråga. Verkliga användare börjar dock ofta en interaktion med en sökmotor med en tillräckligt underspecificerad fråga som de kommer att behöva omformulera innan de hittar vad de letar efter. I detta arbete överväger vi problemet med att utvärdera hämtningssystem över testsamlingar av multi-query sessioner. Vi föreslår två grupper av åtgärder: en modellfri familj som inte gör några antaganden om användarens beteende under en session, och en modellbaserad familj med en enkel modell av användarinteraktioner under sessionen. I båda fallen generaliserar vi traditionella utvärderingsmått såsom genomsnittlig precision till multi-query session utvärdering. Vi demonstrerar beteendet hos de föreslagna mätvärdena genom att använda den nya TREC 2010 Sessionsbana insamling och simuleringar över TREC-9 Query Track insamling.
Dessa multi-query sessioner behöver andra utvärderingsmått REF.
Evaluating multi-query sessions
{'venue': "SIGIR '11", 'journal': None, 'mag_field_of_study': ['Computer Science']}