[论文解读] Uniform, nonparametric, non-asymptotic confidence sequences

Steven R. Howard, Aaditya Ramdas+2 more|arXiv (Cornell University)|Oct 18, 2018

Random Matrices and Applications被引用 19

一句话总结

本文提出了一类均匀、非参数、非渐近的置信序列，其区间宽度随时间缩小，利用Cramér-Chernoff方法、重对数律（LIL）与序贯概率比检验（SPRT）之间的新联系。在最小假设条件下（包括次高斯与Bernstein条件、自归一化过程及矩阵鞅），提供了有限样本的覆盖保证，适用于协方差矩阵估计与处理效应推断。

ABSTRACT

A confidence sequence is a sequence of confidence intervals that is uniformly valid over an unbounded time horizon. In this paper, we develop confidence sequences whose widths go to zero, with non-asymptotic coverage guarantees under nonparametric conditions. Our technique draws a connection between the classical Cram\'er-Chernoff method for exponential concentration bounds, the law of the iterated logarithm (LIL), and the sequential probability ratio test---our confidence sequences extend the first to time-uniform concentration bounds; provide tight, non-asymptotic characterizations of the second; and generalize the third to nonparametric settings, including sub-Gaussian and Bernstein conditions, self-normalized processes, and matrix martingales. We illustrate the generality of our proof techniques by deriving an empirical-Bernstein bound growing at a LIL rate, as well as a novel upper LIL for the maximum eigenvalue of a sum of random matrices. Finally, we apply our methods to covariance matrix estimation and to estimation of sample average treatment effect under the Neyman-Rubin potential outcomes model.

研究动机与目标

• 开发在无限时间范围内保持统一有效性的置信序列，且不依赖渐近近似。
• 在非参数条件下（如次高斯或Bernstein型矩约束）确保置信区间宽度随时间收缩至零。
• 将序贯概率比检验（SPRT）方法推广至非参数设定，包括矩阵值与自归一化过程。
• 为诸如协方差矩阵与样本平均处理效应等统计泛函提供有限样本、非渐近的覆盖保证。
• 在单一、时间统一的框架下统一经典浓度不等式、重对数律（LIL）与序贯检验。

提出的方法

• 利用Cramér-Chernoff方法推导时间统一的指数浓度不等式，将其扩展至固定时间界限之外。
• 建立重对数律（LIL）与序贯置信序列之间的联系，提供LIL型波动的非渐近表征。
• 通过将SPRT框架嵌入时间统一的鞅框架中，将其适应于非参数设定。
• 推导出一种新型经验Bernstein不等式，其增长速率与LIL一致，从而在次高斯或Bernstein条件下实现更紧致、自适应的置信序列。
• 应用自归一化技术以处理序贯估计中未知方差的问题，提升稳健性。
• 将该框架扩展至矩阵值鞅，推导出随机矩阵和的最大特征值的新上界。

实验结果

研究问题

• RQ1 能否在最小矩条件（如次高斯或Bernstein型假设）下构造出宽度缩小且具有非渐近覆盖保证的置信序列？
• RQ2 经典Cramér-Chernoff方法如何扩展以生成时间统一的浓度不等式？
• RQ3 在具有有限样本有效性的非渐近序贯框架中，重对数律（LIL）能否被表征？
• RQ4 序贯概率比检验（SPRT）在多大程度上可推广至非参数与矩阵值设定？
• RQ5 该框架对高维或复杂模型中的推断（如协方差矩阵估计与处理效应分析）有何影响？

主要发现

• 所提出的置信序列在次高斯与Bernstein条件下，实现了无限时间范围内的统一有效性与非渐近覆盖保证。
• 推导出一种新型经验Bernstein不等式，其增长速率与LIL一致，从而在序贯设定中实现更紧致、自适应的置信序列。
• 建立了随机矩阵和的最大特征值的新上界，将LIL推广至矩阵鞅。
• 该框架成功实现了协方差矩阵估计的非参数置信序列，并具有有限样本覆盖性。
• 在Neyman-Rubin潜在结果模型下，即使方差未知，该方法仍能为样本平均处理效应提供有效的置信序列。
• 理论分析证实，在最小矩条件下，置信区间宽度随时间收缩至零，确保长期精度。