Många online experiment uppvisar beroende mellan användare och objekt. Till exempel, i online-reklam, observationer som har en användare eller en annons gemensamt är sannolikt förknippade. På grund av detta, även i experiment som involverar miljontals försökspersoner, skillnaden i genomsnittliga utfall mellan kontroll och behandling villkorar kan ha betydande varians. Tidigare teoretiska och simuleringsresultat visar att inte redovisa för denna typ av beroendestruktur kan resultera i konfidensintervall som är för snäva, vilket leder till felaktiga hypotestester. Vi utvecklar ett ramverk för att förstå hur beroende påverkar osäkerheten i användarobjektexperiment och utvärderar hur bootstrap-metoder som står för olika nivåer av beroende fungerar i praktiken. Vi använder tre riktiga datauppsättningar som beskriver användarens beteende på Facebook -användarsvar på annonser, sökresultat och nyheter Feed stories - för att generera data för syntetiska experiment där det inte finns någon effekt av behandlingen i genomsnitt genom design. Vi uppskattar sedan empiriska felfrekvenser av typ I för varje bootstrap-metod. Att redovisa beroende inom en enda typ av enhet (dvs. inom användarens beroende) är ofta tillräckligt för att få rimliga felfrekvenser. Men när experiment har effekter, som man kan förvänta sig i fält, redovisning för flera enheter med en multiway bootstrap kan vara nödvändigt för att komma nära de annonserade Typ I felfrekvenser. Detta arbete ger vägledning till praktiker som utvärderar storskaliga experiment, och belyser vikten av analys av inferentiella metoder för beroendestrukturer som är gemensamma för onlinesystem.
Facebook är att förbättra sina experiment plattform med ett ramverk för att uppskatta beroende effekten av user-item experiments REF.
Uncertainty in online experiments with dependent data: an evaluation of bootstrap methods
{'venue': "KDD '13", 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}