[论文解读] Variance-adaptive confidence sequences by betting

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|Oct 19, 2020

Statistical Methods and Inference被引用 5

一句话总结

本文提出了一种基于新颖的鞅方法（受投注策略和混合方法启发）的方差自适应置信序列，适用于有界随机变量。通过构建复合非负鞅，该方法实现了更紧致、自适应的置信区间，在有限样本设置下优于霍夫丁不等式和经验伯恩斯坦不等式。

ABSTRACT

This paper derives confidence intervals (CI) and time-uniform confidence sequences (CS) for an unknown mean based on bounded observations. Our methods are based on a new general approach for deriving concentration bounds, that can be seen as a generalization (and improvement) of the classical Chernoff method. At its heart, it is based on deriving a new class of composite nonnegative martingales with initial value one, with strong connections to betting and the method of mixtures. We show how to extend these ideas to sampling without replacement. In all cases considered, the bounds are adaptive to the unknown variance, and empirically outperform competing approaches based on Hoeffding's or empirical Bernstein's inequalities and their recent supermartingale generalizations.

研究动机与目标

• 开发有界随机变量均值的时间一致置信序列（CS），使其能够自适应未知方差。
• 通过引入方差自适应性，改进霍夫丁不等式和经验伯恩斯坦不等式等经典集中不等式。
• 通过受投注启发的鞅框架，推广并增强经典切尔诺夫方法。
• 将所提方法扩展至无放回抽样场景。
• 通过实证验证其在有限样本下相较于现有基于次鞅的方法的优越性能。

提出的方法

• 构建一类新的复合非负鞅，初始值为1，其来源于投注策略和混合方法。
• 利用这些鞅推导出自适应于有界观测未知方差的集中不等式。
• 将该方法应用于有放回和无放回抽样，扩展其在序列和有限总体设置中的适用性。
• 通过受投注启发的框架引入方差信息，推广经典切尔诺夫方法。
• 通过确保鞅性质在时间上持续成立，推导出时间一致的置信序列，从而支持序列推断。
• 采用基于混合的方法组合多种投注策略，以提升边界的鲁棒性和紧致性。

实验结果

研究问题

• RQ1 受投注启发的鞅框架能否产生比经典方法更紧致、方差自适应的置信序列？
• RQ2 在有限样本设置下，所提方法与霍夫丁不等式和经验伯恩斯坦不等式相比表现如何？
• RQ3 该方法在保持方差自适应性的同时，能在多大程度上扩展至无放回抽样？
• RQ4 该新型鞅构造能否优于现有集中不等式基于次鞅的推广方法？
• RQ5 基于混合的方法在推导置信序列时，其理论和实证优势是什么？

主要发现

• 所提方法生成的置信序列能自适应于有界观测的未知方差，从而产生更紧致的区间。
• 实证结果表明，在有限样本场景下，其性能优于霍夫丁不等式和经验伯恩斯坦不等式。
• 在区间宽度和覆盖稳定性方面，该方法优于近期基于次鞅的集中不等式推广方法。
• 受投注启发的鞅构造提供了一种自然且有效的方式，无需先验知识即可引入方差信息。
• 将方法扩展至无放回抽样后，仍保持理论保证，并在有限总体设置中提升了实际性能。
• 通过混合方法导出的复合非负鞅为时间一致推断提供了稳健且灵活的基础。