Online experiment används i stor utsträckning för att jämföra specifika designalternativ, men de kan också användas för att producera allmän kunskap och informera strategiskt beslutsfattande. Att göra det kräver ofta sofistikerade experimentella konstruktioner, iterativ förfining, och noggrann loggning och analys. Det finns få verktyg som stöder dessa behov. På så sätt introducerar vi ett språk för fältexperiment online som kallas PlanOut. PlanOut separerar experimentell design från tillämpningskoden, vilket gör det möjligt för försökspersonen att kortfattat beskriva experimentella konstruktioner, oavsett om de är vanliga "A/B-tester" och faktoriella konstruktioner, eller mer komplexa konstruktioner som inbegriper villkorlig logik eller flera experimentella enheter. Dessa senare mönster är ofta användbara för att förstå orsakssambandsmekanismer som är involverade i användarens beteende. Vi visar hur experiment från litteraturen kan genomföras i PlanOut, och beskriver två stora fältexperiment som genomförs på Facebook med PlanOut. För vanliga scenarier där experiment utförs iterativt och parallellt introducerar vi ett namnrymdshanteringssystem som uppmuntrar till sund experimentell praktik.
Bakshy et al. REF ger insikter om hur Facebook använder en DSL för att skilja experimentdesign från applikationskoden.
Designing and Deploying Online Field Experiments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}