Reciprocal Rank Fusion (RRF), en enkel metod för att kombinera dokumentrankningen från flera IR-system, ger konsekvent bättre resultat än något enskilt system, och bättre resultat än standardmetoden Condorcet Fuse. Detta resultat demonstreras genom att använda RRF för att kombinera resultaten av flera TREC experiment, och för att bygga en meta-learner som rankar LETOR 3 dataset bättre än någon tidigare rapporterad metod.  Kategorier och ämne Medan övervakade inlärning-till-rank metoder har samlat mycket uppmärksamhet av sent, oövervakade metoder är attraktiva eftersom de inte kräver några utbildning exempel. I sökandet efter en sådan metod kom vi upp med Reciprocal Rank Fusion (RRF) för att fungera som en baslinje. Vi fann att RRF, när den används för att kombinera resultaten av IR-metoder (inklusive lära sig att rangordna), nästan alltid förbättrades på det bästa av de kombinerade resultaten. Vi fann också att RRF konsekvent utjämnade eller bättre andra metoder vi försökte, inklusive etablerade metaranking standarder Condorcet Fuse och CombMNZ (jfr. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. RRF sorterar helt enkelt dokumenten enligt en naiv poängformel. Med tanke på en uppsättning D dokument som ska rangordnas och en uppsättning rankningar R, var och en en permutation på 1.. ska vi beräkna var k = 60 var fast under en pilotutredning och inte ändras under efterföljande validering. Vår intuition i valet av denna formel härrör från faktum att även högt rankade dokument är viktigare, men vikten av lägre rankade dokument försvinner inte som det skulle, låt oss säga, en exponentiell funktion som används. tioner enligt det parvisa förhållandet r(d1) < r(d2), som bestäms för varje (d1, d2) med majoritet bland indatarankningarna. CombMNZ kräver för varje r en motsvarande poängfunktion sr : D → R och en cutoff rank c som alla bidrar till CombMNZ poäng: Vi genomförde fyra pilot experiment, var och en kombinerar resultaten av 30 konfigurationer av Wumpus Search tillämpas på fyra olika TREC samlingar. Resultaten av den första, som visas i tabell 1, visade att k = 60 var nästan optimalt, men att valet inte var kritiskt. Resultaten visade också, något oväntat, att RRF bested konkurrerande metoder, liksom mer sofistikerade inlärningsmetoder vars utredning var den ursprungliga drivkraften för vårt arbete. Vi upprepade vårt experiment med fyra uppsättningar bidrag till TREC uppgifter; de särskilda uppsättningar valdes eftersom de har använts i tidigare metaranking utvärdering. Det är värt att notera att medan våra pilotkörningar använde exakt samma uppsättning Wumpus-konfigurationer för att generera individuella rankningar på olika datauppsättningar, var de individuella rankningarna i dessa experiment exakt de som lämnats in av TREC-deltagare. Tabell 2 visar RRF-resultatet samt de bästa individuella, Condorcet och CombMNZ-resultaten. MAP poäng för RRF överstiger Condorcet Fuse i alla fall, och CombMNZ i alla utom en. RRF överträffar också den bästa rankingen i varje experiment, med undantag för TREC 9, där den bästa rankingen härleddes med hjälp av en humanin-the-loop. RRF överträffar nästa bästa ranking, som automatiserades. Piloten och TREC experiment visar att RRF överträffar Condorcet, CombMNZ och det bästa systemet med 4% till 5% i genomsnitt. Vi använder ett enkelt teckentest för att fastställa betydelsen. Discounting den första pilot körning, RRF outperformed Condorcet alla 7 gånger (p 0.08), överträffade CombMNZ 6 av 7 gånger (p.04), och överträffade det bästa individuella resultatet antingen 6 eller 7 gånger (0.008 ≤ p ≤ 0.04), beroende på om det manuella resultatet anses. Således är alla uppmätta skillnader betydande. Vårt slutliga experiment använde de provinlärningsresultat som levereras med LETOR 3 1 dataset, samt en logistisk lutning nedstigningsmetod (LGD) som vi utvecklar. För analysändamål kombinerade vi de sju uppsättningarna dokumentförfrågan par till en och beräknade en total MAP poäng. 1 forskning.microsoft.com/enus/um/beijing/projekt/letor 758
Ref föreslog RRF (Reciprocal Rank Fusion) poäng för att kombinera olika ranklistor i informationssökning.
Reciprocal rank fusion outperforms condorcet and individual rank learning methods
{'venue': 'SIGIR', 'journal': None, 'mag_field_of_study': ['Computer Science']}