Framgångsrik utveckling och utbyggnad av storskaliga Internettjänster är i hög grad beroende av prestanda. Även små regressioner i bearbetningstiden kan översättas direkt till betydande energi- och användarupplevelsekostnader. Trots den utbredda användningen av distribuerad serverinfrastruktur (t.ex. i molntjänster och webbtjänster) finns det lite forskning om hur man kan jämföra sådana system för att få giltiga och exakta slutsatser med minimala kostnader för datainsamling. Korrekt A/B-testning av distribuerade Internettjänster kan vara förvånansvärt svårt eftersom det ömsesidiga beroendet mellan användarförfrågningar (t.ex. för sökresultat, sociala medieströmmar, foton) och värdservrar bryter mot de antaganden som krävs vid statistiska standardtester. Vi utvecklar statistiska modeller för distribuerad Internettjänst utifrån data från Perflab, ett produktionssystem som används på Facebook och som granskar tusentals ändringar i företagets kodbas varje dag. Vi visar hur dessa modeller kan användas för att förstå avvägningarna mellan olika benchmarkingrutiner och vilka faktorer som måste beaktas vid statistiska tester. Med hjälp av simuleringar och empiriska data från Perflab validerar vi våra teoretiska resultat och tillhandahåller riktlinjer som är lätta att genomföra för att utforma och analysera sådana riktmärken.
Bakshy och Frochtenberg REF ger riktlinjer för korrekt design och analys av referensexperiment såsom A/B-test.
Design and Analysis of Benchmarking Experiments for Distributed Internet Services
{'venue': "WWW '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}