Att utveckla effektiva modeller för insamling av information är en sedan länge central utmaning i forskningen om informationssökning. För att utveckla effektivare modeller är det nödvändigt att förstå bristerna i de nuvarande modellerna och de relativa styrkorna hos var och en av dem. I den här artikeln föreslår vi en allmän metod för att analytiskt och experimentellt diagnostisera svagheterna i en hämtningsfunktion, som ger vägledning om hur man ytterligare förbättrar dess prestanda. Vår metodik motiveras av den empiriska iakttagelsen att goda hämtningsresultat är nära relaterade till användningen av olika hämtningsheuristik. Vi kopplar ihop svagheterna och styrkan i en hämtningsfunktion med dess implementationer av dessa hämtningsheuristik, och föreslår två strategier för att kontrollera hur väl en hämtningsfunktion implementerar den önskade hämtningsheuristiken. Den första strategin är att formalisera heuristik som begränsningar, och använda restriktionsanalys för att analytiskt kontrollera genomförandet av hämtning heuristik. Den andra strategin är att definiera en uppsättning relevans-bevarande perturbationer och utföra diagnostiska tester för att empiriskt utvärdera hur väl en hämtning funktion implementerar hämtning heuristik. Experiment visar att båda strategierna är effektiva för att identifiera potentiella problem i genomförandet av återhämtningsheuristiken. Utförandet av hämtningsfunktioner kan förbättras efter att vi har åtgärdat dessa problem.
REF ger en omfattande analys av fyra modeller för hämtning genom att definiera en uppsättning begränsningar som måste uppfyllas för effektiv hämtning.
Diagnostic Evaluation of Information Retrieval Models
{'venue': 'TOIS', 'journal': None, 'mag_field_of_study': ['Computer Science']}