[论文解读] Statistical Challenges in Online Controlled Experiments: A Review of A/B Testing Methodology

Nicholas Larsen, Jonathan W. Stallrich+4 more|arXiv (Cornell University)|Dec 21, 2022

Optimal Experimental Design Methods被引用 10

一句话总结

本文回顾了大规模在线受控实验（OCEs）中的统计挑战，重点关注大型互联网应用中的A/B测试。文章指出了当前实践中的方法论缺陷，强调了处理并发实验、交互效应和伦理问题时对先进统计技术的需求，并呼吁学术界与工业界加强合作，以应对因果推断和实验设计领域新兴的研究机遇。

ABSTRACT

The rise of internet-based services and products in the late 1990's brought about an unprecedented opportunity for online businesses to engage in large scale data-driven decision making. Over the past two decades, organizations such as Airbnb, Alibaba, Amazon, Baidu, Booking, Alphabet's Google, LinkedIn, Lyft, Meta's Facebook, Microsoft, Netflix, Twitter, Uber, and Yandex have invested tremendous resources in online controlled experiments (OCEs) to assess the impact of innovation on their customers and businesses. Running OCEs at scale has presented a host of challenges requiring solutions from many domains. In this paper we review challenges that require new statistical methodologies to address them. In particular, we discuss the practice and culture of online experimentation, as well as its statistics literature, placing the current methodologies within their relevant statistical lineages and providing illustrative examples of OCE applications. Our goal is to raise academic statisticians' awareness of these new research opportunities to increase collaboration between academia and the online industry.

研究动机与目标

• 识别并回顾主要科技平台在大规模在线受控实验（OCEs）中面临的关键统计挑战。
• 突出当前OCE实践中的方法论缺陷，特别是关于交互效应、多重检验和实验设计方面的问题。
• 倡导学术统计学家与工业界从业者之间加强合作，以应对OCEs领域新兴的统计研究机遇。
• 考察涉及人类受试者的OCEs中的伦理问题，包括知情同意和数据隐私，及其对实验设计的影响。
• 将OCEs置于因果推断的更广泛背景下，对比随机对照试验（RCTs）与在RCTs不可行时采用的观察性方法。

提出的方法

• 系统性回顾在线受控实验领域的统计文献与工业实践，重点聚焦A/B测试和多变量测试的方法论。
• 分析来自谷歌、亚马逊、爱彼迎和Facebook等公司的实际OCE应用案例，以说明统计与伦理挑战。
• 使用示例说明实验设计选择的影响，例如“41种蓝色”的A/B测试和广告展示优化。
• 评估因子设计、序贯检验以及面板实验中非参数估计器等统计技术。
• 讨论检测与估计并发实验之间交互作用的方法，包括正交设计和验证协议的使用。
• 审视伦理框架与数据隐私问题，包括差分隐私以及OCEs中重新识别风险。

实验结果

研究问题

• RQ1 在大规模在线受控实验中，主要的统计挑战是什么？
• RQ2 在A/B测试框架中，如何检测、避免或估计多个并发实验之间的交互作用？
• RQ3 在高维、多变量实验背景下，传统A/B测试存在哪些局限性？
• RQ4 知情同意和实验中的欺骗行为等伦理考量如何影响OCEs的有效性与可接受性？
• RQ5 在何种情况下，观察性因果推断方法相较于随机在线实验更为可取或必要？

主要发现

• OCEs如今已成为主要科技公司决策的核心，每日在数百万用户上运行数百个实验，推动数据驱动的产品优化。
• 谷歌的“41种蓝色”A/B测试估计带来了每年2亿美元的收入增长，凸显了微小设计变更的高财务影响。
• 亚马逊将信用卡优惠从主页移至结账页面的A/B测试，带来了数千万美元的额外年利润。
• 必应的广告展示A/B测试带来了1亿美元的额外美国收入，凸显了OCEs的可扩展性与财务重要性。
• 由于糟糕的点子或实现中的错误，OCE的失败率可能超过90%，凸显了严谨实验设计与验证的必要性。
• 当实验涉及欺骗（如Facebook的情绪传染研究）或影响零工经济中的劳动者时，伦理问题浮现，引发关于知情同意与自主权的质疑。