Vi ser över ett problem som infördes av Bharat och Broder för nästan ett decennium sedan: hur man kan ta stickprov slumpmässiga sidor från en sökmotor index med endast sökmotorns offentliga gränssnitt? En sådan primitiv är särskilt användbar för att skapa objektiva riktmärken för sökmotorer. Tekniken av Bharat och Broder lider av två väl inspelade fördomar: det gynnar långa dokument och högt rankade dokument. I detta papper introducerar vi två nya provtagningsmetoder: en lexikonbaserad teknik och en slumpmässig gångteknik. Våra metoder producerar partiska provdokument, men varje prov åtföljs av en motsvarande "vikt", som representerar sannolikheten för att detta dokument ska väljas ut i provet. Proverna, tillsammans med vikterna, används sedan för att simulera nära-uniforma prover. I detta syfte använder vi oss av tre välkända Monte Carlo-simuleringsmetoder: avstötningsprovtagning, viktprovtagning och Metropolis-Hastings-algoritm. Vi analyserar våra metoder noggrant och bevisar att under rimliga antaganden, våra tekniker garanteras att producera nära-uniforma prover från sökmotorns index. Experiment på en corpus på 2,4 miljoner dokument styrker våra analytiska resultat och visar att våra algoritmer inte har någon betydande partiskhet mot långa eller högt rankade dokument. Vi använder våra algoritmer för att samla in nya data om de relativa storlekarna på Google, MSN Search och Yahoo!.
Studien i REF föreslår flera provtagningsmetoder via en sökmotor API för att generera ett "nära-uniform" urval av dokument (under vissa rimliga antaganden om sökmotorn).
Random sampling from a search engine's index
{'venue': "WWW '06", 'journal': None, 'mag_field_of_study': ['Computer Science']}