Onlinekontrollerade experiment, även kallade A/B-tester, har etablerats som mantra för datadrivet beslutsfattande i många webbhotell. A/B Testning stöder beslutsfattande genom att direkt jämföra två varianter åt gången. Det kan användas för jämförelse mellan (1) två kandidatbehandlingar och (2) en kandidatbehandling och en etablerad kontroll. I praktiken utför man vanligtvis ett experiment med flera behandlingar tillsammans med en kontroll för att fatta beslut för båda ändamålen samtidigt. Detta är känt för att ha två frågor. Först, med flera behandlingar ökar falska positiva på grund av flera jämförelser. För det andra orsakar urvalsprocessen en uppåtgående bias i uppskattad effekt storlek av den bästa observerade behandlingen. För att lösa dessa två frågor rekommenderas en tvåstegsprocess, där vi väljer den bästa behandlingen från det första screeningstadiet och sedan kör samma experiment med endast den valda bästa behandlingen och kontrollen i valideringsstadiet. Traditionell tillämpning av denna tvåstegsdesign fokuserar ofta endast på resultat från den andra etappen. I detta dokument föreslår vi en allmän metod för att kombinera data från det första screeningstadiet tillsammans med data från valideringsstadiet för mer känsliga hypotestester och en mer exakt punktuppskattning av behandlingseffekten. Vår metod är allmänt tillämplig på befintliga online-kontrollerade experimentsystem.
Forskare har beskrivit en metod för A/B-testning i samband med kontrollerade experiment på nätet för rättvisare jämförelser REF.
Statistical inference in two-stage online controlled experiments with treatment selection and validation
{'venue': 'WWW', 'journal': None, 'mag_field_of_study': ['Computer Science']}