Interleaving experiment är en attraktiv metod för att utvärdera hämtningsfunktioner genom implicit feedback. Utformad som en blind och objektiv test för att framkalla en preferens mellan två hämtningsfunktioner, en interleaded ranking av resultaten av två hämtningsfunktioner presenteras för användarna. Det observeras sedan om användarna klickar mer på resultat från en hämtning funktion eller den andra. Även om det visade sig att sådana interleaving experiment på ett tillförlitligt sätt identifierar det bättre av de två hämtningsfunktionerna, leder det naiva tillvägagångssättet att räkna alla klick lika till ett suboptimalt test. Vi presenterar nya metoder för att lära sig hur man gör olika typer av klick så att den resulterande teststatistiken optimerar den statistiska kraften i experimentet. Detta kan leda till betydande besparingar i den mängd uppgifter som krävs för att nå en målkonfidensnivå. Våra metoder utvärderas på en fungerande sökmotor över en samling vetenskapliga artiklar.
Informellt är grundidén med REF att lära sig hur man väger användaren klickar i de sammanflätande jämförelserna så att förtroendet för de redan utförda experimenten maximeras.
Learning more powerful test statistics for click-based retrieval evaluation
{'venue': "SIGIR '10", 'journal': None, 'mag_field_of_study': ['Computer Science']}