[论文解读] Why Adaptively Collected Data Have Negative Bias and How to Correct for It

Xinkun Nie, Xiaoying Tian+2 more|arXiv (Cornell University)|Aug 7, 2017

Advanced Bandit Algorithms Research参考文献 20被引用 23

一句话总结

本文证明了在临床试验、A/B测试和 bandit 算法中常见的自适应数据收集会导致样本均值系统性低估真实处理效应，其根源在于负偏差。本文提出一种基于选择性推断的新型条件最大似然估计器（cMLE），有效校正该偏差，显著降低估计误差，且在偏差和均方误差（MSE）方面优于数据分割方法。

ABSTRACT

From scientific experiments to online A/B testing, the previously observed data often affects how future experiments are performed, which in turn affects which data will be collected. Such adaptivity introduces complex correlations between the data and the collection procedure. In this paper, we prove that when the data collection procedure satisfies natural conditions, then sample means of the data have systematic \emph{negative} biases. As an example, consider an adaptive clinical trial where additional data points are more likely to be tested for treatments that show initial promise. Our surprising result implies that the average observed treatment effects would underestimate the true effects of each treatment. We quantitatively analyze the magnitude and behavior of this negative bias in a variety of settings. We also propose a novel debiasing algorithm based on selective inference techniques. In experiments, our method can effectively reduce bias and estimation error.

研究动机与目标

• 严格证明在自然条件下，自适应数据收集会导致样本均值出现系统性负偏差。
• 量化不同自适应算法和设置下该负偏差的大小及其行为特征。
• 开发一种无需重新收集数据即可校正该偏差的方法。
• 在偏差和估计误差方面，将所提出的 cMLE 方法与现有方法（如数据分割和倾向性匹配）进行比较。
• 在多种自适应数据收集流程中验证 cMLE 在降低偏差和均方误差（MSE）方面的有效性。

提出的方法

• 将自适应数据收集形式化为选择函数 $ s_t = f(\text{历史至 } t) $，其中分布选择依赖于过去观测结果。
• 定义两个关键条件——利用（Exploit）和无关结果独立性（IIO）——在该条件下证明负偏差的存在。
• 提出一种基于选择性推断技术的随机化条件最大似然估计器（cMLE），用于校正选择偏差。
• 通过条件化于选择事件来使用 cMLE 估计真实均值，从而在自适应数据收集下仍能保证有效推断。
• 在 cMLE 中引入噪声注入机制，确保估计器在计算上可行且具有一致性。
• 在多个算法（贪婪、ε-贪婪、Thompson 采样）中，比较 cMLE 与数据分割（使用保留数据集）和倾向性匹配在偏差和 MSE 方面的表现。

实验结果

研究问题

• RQ1 在何种条件下，自适应数据收集会导致样本均值估计器出现负偏差？
• RQ2 该负偏差的大小如何随不同自适应算法（如贪婪、ε-贪婪、Thompson 采样）和样本量变化？
• RQ3 基于选择性推断的方法（如 cMLE）是否能有效降低自适应收集数据的偏差，且无需重新收集数据？
• RQ4 在有限样本设置下，cMLE 与数据分割和倾向性匹配在偏差和均方误差（MSE）方面相比如何？
• RQ5 随着数据收集轮数 $ T $ 增加，cMLE 的偏差和 MSE 的渐近行为如何？

主要发现

• 本文证明，在满足利用（Exploit）和 IIO 条件时，自适应收集数据的样本均值系统性地呈现负偏差，导致真实处理效应被低估。
• 对于 $ T = 1000 $ 的贪婪算法，cMLE 将偏差从 -0.21（K=5）降低至原始偏差的 1.0%，几乎完全消除了系统性低估。
• 在均方误差（MSE）方面，cMLE 将误差降低至原始 MSE 的 1.1%（K=5），显著优于数据分割方法（94.9%），展现出更高的效率。
• 数据分割虽能实现无偏估计，但因有效样本量减半而产生高方差，导致 MSE 较高。
• 倾向性匹配虽无偏，但其 MSE 远高于 cMLE（高出数倍），在估计方面效果较差。
• cMLE 方法是渐近一致的，因此当 $ T \to \infty $ 时，偏差和 MSE 均收敛于零，证实了其理论合理性。