[论文解读] On the Complexity of A/B Testing

Emilie Kaufmann, Olivier Cappé+1 more|arXiv (Cornell University)|May 13, 2014

Advanced Bandit Algorithms Research参考文献 12被引用 12

一句话总结

本文为两臂老虎机模型中的A/B测试建立了依赖于分布的下界，表明在方差相等的正态分布结果下，固定置信度与固定预算设置的复杂度相当，且均匀采样为最优策略。对于伯努利分布结果，固定预算的复杂度低于固定置信度，且在采用适当的停止规则时，均匀采样依然具有实际可行性。

ABSTRACT

A/B testing refers to the task of determining the best option among two alternatives that yield random outcomes. We provide distribution-dependent lower bounds for the performance of A/B testing that improve over the results currently available both in the fixed-confidence (or delta-PAC) and fixed-budget settings. When the distribution of the outcomes are Gaussian, we prove that the complexity of the fixed-confidence and fixed-budget settings are equivalent, and that uniform sampling of both alternatives is optimal only in the case of equal variances. In the common variance case, we also provide a stopping rule that terminates faster than existing fixed-confidence algorithms. In the case of Bernoulli distributions, we show that the complexity of fixed-budget setting is smaller than that of fixed-confidence setting and that uniform sampling of both alternatives -though not optimal- is advisable in practice when combined with an appropriate stopping criterion.

研究动机与目标

• 推导在固定置信度与固定预算设置下，最佳臂识别的紧致、依赖分布的下界。
• 比较固定置信度与固定预算A/B测试的内在复杂度，特别是针对正态与伯努利分布结果。
• 评估在A/B测试中均匀采样（轮询）的最优性，并确定其在何种情况下足够，以及何时需要自适应采样。
• 提出一种停止规则，相较于现有固定置信度算法，在方差相等的正态分布情形下实现性能改进。
• 为顺序测试中自适应采样相较于固定采样策略的优势提供实际指导。

提出的方法

• 利用KL散度与似然比分析，通过信息论方法推导样本复杂度的下界，刻画最小样本需求。
• 使用偏差不等式（引理6.2）控制i.i.d.次高斯随机变量和的尾部概率，从而为顺序测试提供置信区间。
• 结合迭代对数律与集中不等式，建立具有更优有限样本性能的停止规则。
• 通过复杂度度量 $\kappa_C(\nu)$ 与 $\kappa_B(\nu)$ 比较固定置信度与固定预算设置，证明在方差相等的正态模型下二者等价。
• 采用测度变换方法，推导错误概率与样本复杂度的下界，并在备择模型 $\nu'$ 上进行优化。
• 提出一种顺序停止规则，其探索率形式为 $\beta(t,\delta) = \log(1/\delta) + \frac{3}{4}\log\log(1/\delta) + \frac{3}{2}\log\log(et)$，证明可保证 $\delta$-PAC 性能。

实验结果

研究问题

• RQ1 在固定置信度与固定预算设置下，A/B测试中最佳臂识别的根本样本复杂度是多少？
• RQ2 在不同参数分布（如正态与伯努利）下，复杂度 $\kappa_C(\nu)$ 与 $\kappa_B(\nu)$ 如何比较？
• RQ3 在何种条件下，均匀采样（轮询）在A/B测试中为最优或近似最优？
• RQ4 是否可通过顺序停止规则在不预先知晓问题复杂度的情况下减少期望样本量？
• RQ5 在顺序A/B测试中，确保 $\delta$-PAC 性能且期望样本量最小的最优探索率是什么？

主要发现

• 在方差相等的正态分布下，固定置信度与固定预算设置的复杂度相当，且均匀采样为最优策略。
• 在方差相等的正态分布情形下，所提出的停止规则通过优化探索率，相较于现有固定置信度算法可实现更快终止。
• 对于伯努利分布结果，固定预算复杂度 $\kappa_B(\nu)$ 严格小于固定置信度复杂度 $\kappa_C(\nu)$，表明固定预算策略本质上更高效。
• 在配合适当停止准则时，尽管非最优，均匀采样在伯努利分布结果下仍具实际可行性。
• 所推导的下界为紧致下界，与所提算法的性能一致，确认了此类设置下A/B测试的理论极限。
• 分析表明，当问题复杂度已知时，顺序测试中的自适应采样不会减少期望样本量，但当复杂度未知时具有重要价值。