[论文解读] Online Control of the False Coverage Rate and False Sign Rate

Asaf Weinstein, Aaditya Ramdas|arXiv (Cornell University)|May 3, 2019

Statistical Methods in Clinical Trials参考文献 25被引用 4

一句话总结

本文提出了一种新颖的在线程序，用于在顺序置信区间构建中控制错误覆盖率（FCR），采用自适应边际置信区间而非条件置信区间。通过利用受在线FDR启发的alpha支出规则，该方法实现了基于置信区间本身的选取——从而支持新型在线符号分类程序，控制错误符号率（FSR）——同时在保持FCR控制的前提下，相较于条件方法展现出更高的灵活性和实用性。

ABSTRACT

The false coverage rate (FCR) is the expected ratio of number of constructed confidence intervals (CIs) that fail to cover their respective parameters to the total number of constructed CIs. Procedures for FCR control exist in the offline setting, but none so far have been designed with the online setting in mind. In the online setting, there is an infinite sequence of fixed unknown parameters $θ_t$ ordered by time. At each step, we see independent data that is informative about $θ_t$, and must immediately make a decision whether to report a CI for $θ_t$ or not. If $θ_t$ is selected for coverage, the task is to determine how to construct a CI for $θ_t$ such that $ ext{FCR} \leq α$ for any $T\in \mathbb{N}$. A straightforward solution is to construct at each step a $(1-α)$ level conditional CI. In this paper, we present a novel solution to the problem inspired by online false discovery rate (FDR) algorithms, which only requires the statistician to be able to construct a marginal CI at any given level. Apart from the fact that marginal CIs are usually simpler to construct than conditional ones, the marginal procedure has an important qualitative advantage over the conditional solution, namely, it allows selection to be determined by the candidate CI itself. We take advantage of this to offer solutions to some online problems which have not been addressed before. For example, we show that our general CI procedure can be used to devise online sign-classification procedures that control the false sign rate (FSR). In terms of power and length of the constructed CIs, we demonstrate that the two approaches have complementary strengths and weaknesses using simulations. Last, all of our methodology applies equally well to online FCR control for prediction intervals, having particular implications for assumption-free selective conformal inference.

研究动机与目标

• 为解决顺序参数估计中缺乏在线错误覆盖率（FCR）控制程序的问题。
• 开发一种方法，允许基于置信区间本身进行选择，从而支持新型在线推断（如符号分类）。
• 提供一种通用的在线FCR控制框架，其简单性和灵活性优于现有的条件置信区间方法。
• 将该方法扩展至预测区间和置信性推断，实现无假设的选择性推断。

提出的方法

• 将在线FDR控制算法（如LORD++）适配用于构建时间依赖的置信水平 α_i < α 的边际置信区间。
• 使用顺序alpha支出规则，根据过去的选择决策和误差率控制，在每一步调整置信水平。
• 采用比条件置信区间更容易构建的边际置信区间，尤其在高维或非正态设置下更具优势。
• 支持依赖于置信区间属性的选择规则——例如，排除包含零或跨越相反符号的区间——从而支持符号判定推断。
• 通过将未知结果视为参数，将同一框架应用于预测区间，确保在选择下仍保持边际有效性。
• 利用边际预测区间（如来自置信性预测）可构建FCR受控的选择性推断程序的事实。

实验结果

研究问题

• RQ1 我们能否设计一种在线程序，在无需条件推断的情况下控制错误覆盖率（FCR）？
• RQ2 是否可以基于置信区间本身而非外部统计量来制定选择规则，同时保持FCR控制？
• RQ3 是否可能将在线FCR控制扩展至符号分类问题，从而控制错误符号率（FSR）？
• RQ4 所提出的方法能否适配至预测区间和选择性置信性推断？
• RQ5 边际置信区间是否在在线设置中为条件置信区间提供了一种实用且强大的替代方案？

主要发现

• 所提出的方法在任意 T ∈ ℕ 下均能将错误覆盖率（FCR）控制在水平 α，即使在任意可预测的选择规则下亦成立。
• 该方法允许基于置信区间内容进行选择——例如排除包含零的区间——从而实现具有FSR控制的在线符号分类。
• 模拟结果表明，与条件置信区间相比，边际置信区间在统计功效和区间长度方面展现出互补的优缺点。
• 该方法可无缝扩展至预测区间，支持无假设的选择性置信性推断。
• 该框架提供了首个已知的在线FCR控制程序，其超越了条件置信区间，且在其他在线FDR程序（如SAFFRON或广义alpha投资）中尚无类似方法。
• 该方法对非正态和高维设置具有鲁棒性，因其仅依赖于在任意水平下构建边际置信区间的可行性。