Abstract Web sökmotorer alltmer distribuerar många funktioner, kombineras med hjälp av inlärning för att rangordna tekniker. Det återstår dock olika praktiska frågor om hur man bör använda sig av inlärning för att rangordna. Till exempel används ett urval av dokument med tillräcklig återkallelse, så att omklassificeringen av provet med den lärda modellen leder de relevanta dokumenten till toppen. Dock egenskaperna hos dokumentprovet, t.ex. när man ska sluta rangordna-d.v.s. Dess minsta effektiva storlek kvarstår ostuderad. På samma sätt minimerar effektiv listvis inlärning för att rangordna tekniker en förlustfunktion som motsvarar en standardutvärdering av informationshämtning. Ett lämpligt val av hur förlustfunktionen ska beräknas, dvs. valet av åtgärd för utvärdering av lärandet och det rangdjup på vilket denna åtgärd bör beräknas är ännu oklart. I detta dokument tar vi upp alla dessa frågor genom att formulera olika hypoteser och forskningsfrågor, innan vi utför uttömmande experiment med hjälp av flera lärande för att rangordna tekniker och olika typer av informationsbehov på ClueWeb09 och LETOR corpora. Bland många slutsatser finner vi till exempel att det minsta effektiva provet för en given frågeuppsättning är beroende av typen av informationsbehov av frågorna, den dokumentrepresentation som används vid provtagningen och testutvärderingen. Eftersom urvalsstorleken är varierad, de utvalda funktionerna markant förändring-till exempel, finner vi att länkanalys funktioner föredras för mindre dokumentprover. Dessutom är den nyligen föreslagna ERR-åtgärden, trots att den återspeglar en mer realistisk användarmodell, inte lika effektiv som den traditionella NDCG som en funktion för inlärningsförluster. Sammantaget ger våra omfattande experiment den första empiriska härledningen av bästa praxis för lärande för att rangordna utplaceringar.
Macdonald m.fl. REF undersökte hur valet av utvärderingsåtgärd som kodats inom deras förlustfunktioner påverkade effektiviteten hos olika inlärningsmetoder.
The whens and hows of learning to rank for web search
{'venue': 'Information Retrieval', 'journal': 'Information Retrieval', 'mag_field_of_study': ['Computer Science']}