[论文解读] Near-Optimal Confidence Sequences for Bounded Random Variables

Arun Kumar Kuchibhotla, Qinqing Zheng|arXiv (Cornell University)|Jul 18, 2021

Advanced Bandit Algorithms Research被引用 1

一句话总结

本文提出了一种基于Bentkus集中不等式、适用于有界随机变量的近似最优置信序列，显著优于基于Cramér-Chernoff方法的传统方法（如Hoeffding、Bernstein和Bennett）。该序列在样本量不断增长时保持一致有效性，并在合成覆盖率和自适应停止应用中表现出优越性能。

ABSTRACT

Many inference problems, such as sequential decision problems like A/B testing, adaptive sampling schemes like bandit selection, are often online in nature. The fundamental problem for online inference is to provide a sequence of confidence intervals that are valid uniformly over the growing-into-infinity sample sizes. To address this question, we provide a near-optimal confidence sequence for bounded random variables by utilizing Bentkus' concentration results. We show that it improves on the existing approaches that use the Cram{e}r-Chernoff technique such as the Hoeffding, Bernstein, and Bennett inequalities. The resulting confidence sequence is confirmed to be favorable in both synthetic coverage problems and an application to adaptive stopping algorithms.

研究动机与目标

• 解决在在线推断问题中构建置信序列的挑战，使其在样本量不断增加时保持一致有效性。
• 改进基于Cramér-Chernoff技术的现有置信序列方法，如Hoeffding、Bernstein和Bennett不等式。
• 开发一种在有界随机变量置信序列构建中实现近似最优性的方法。

提出的方法

• 利用Bentkus集中不等式，为有界随机变量推导出更紧致的尾部界。
• 通过利用改进的集中性质，构建在所有样本量下均保持一致有效性的置信序列。
• 设计一系列置信区间，随观测数据增加而自适应收紧，确保在无限时域内保持覆盖。
• 利用Bentkus界结构，最小化置信区间的宽度，同时保持精确覆盖保证。
• 将推导出的置信序列应用于序列决策问题和自适应采样方案。
• 通过合成实验和在自适应停止算法中的实际应用验证该方法。

实验结果

研究问题

• RQ1 能否构建一种有界随机变量的置信序列，使其在保持一致有效性的同时，比现有基于Cramér-Chernoff的方法更紧致？
• RQ2 与Hoeffding、Bernstein和Bennett不等式相比，使用Bentkus集中不等式在置信区间宽度和覆盖性方面表现如何？
• RQ3 所提出的置信序列在自适应停止和序列检验场景中是否保持强大的有限样本性能？

主要发现

• 所提出的置信序列在保持所有样本量下一致有效性的同时，实现了近似最优的区间宽度。
• 该方法在区间宽度方面显著优于基于Hoeffding、Bernstein和Bennett的置信序列。
• 合成实验表明，该置信序列在多种有界分布下均保持精确的覆盖概率。
• 在自适应停止算法中，该方法相比基线方法能更早停止并保持更高置信度。
• 该置信序列在有界随机变量框架下的多种数据生成过程中均表现出稳健性能。