[论文解读] Sequential Selection Procedures and False Discovery Rate Control

Max G’Sell, Stefan Wager+2 more|arXiv (Cornell University)|Sep 20, 2013

Statistical Methods in Clinical Trials参考文献 39被引用 12

一句话总结

本文提出了ForwardStop和StrongStop两种顺序检验方法，用于在仅能拒绝初始连续假设块的有序多重假设检验设置中控制错误发现率（FDR）。通过将p值转换为单调统计量并应用Benjamini-Hochberg程序，这些方法在顺序模型选择中确保了FDR控制并实现了有效的推断；TailStop通过利用零假设p值的指数衰减特性，进一步提升了检验效能。

ABSTRACT

We consider a multiple hypothesis testing setting where the hypotheses are ordered and one is only permitted to reject an initial contiguous block, H_1,\dots,H_k, of hypotheses. A rejection rule in this setting amounts to a procedure for choosing the stopping point k. This setting is inspired by the sequential nature of many model selection problems, where choosing a stopping point or a model is equivalent to rejecting all hypotheses up to that point and none thereafter. We propose two new testing procedures, and prove that they control the false discovery rate in the ordered testing setting. We also show how the methods can be applied to model selection using recent results on p-values in sequential model selection settings.

研究动机与目标

• 解决在必须按固定顺序拒绝假设的顺序模型选择中缺乏FDR控制的问题。
• 开发符合仅能拒绝初始连续假设块这一约束的检验程序。
• 为前向逐步回归和套索等回归算法的模型选择路径提供推断保证。
• 将现有p值程序扩展至顺序设置，以实现有效的FDR控制推断。
• 通过TailStop实现更高效能，该方法利用特定模型选择路径中零假设p值的调和衰减特性。

提出的方法

• 将原始p值序列转换为单调递增的统计量序列 $ q_1 \leq \cdots \leq q_m $，以保持顺序并支持FDR控制。
• 在转换后的单调统计量 $ q_i $ 上应用经典的Benjamini-Hochberg程序，以在有序检验框架中控制FDR。
• 提出ForwardStop作为一种稳健、分布自由的方法，在对零假设p值行为的假设最少的条件下维持FDR控制。
• 引入StrongStop作为更强效的变体，当零假设p值受到随机上界约束时，同时控制FDR与家庭错误率（FWER）。
• 开发TailStop作为StrongStop的改进版本，利用正交设计中零假设p值的 $ \operatorname{Exp}(1/\ell) $ 衰减特性以提升效能。
• 使用Lockhart等人（2014）提出的协方差检验计算增量零假设 $ H_k^{\text{inc}} $ 的p值，随后由所提出的停止规则处理。

实验结果

研究问题

• RQ1 当仅能拒绝初始连续假设块时，能否在顺序多重检验中控制错误发现率？
• RQ2 如何将经典的FDR程序（如Benjamini-Hochberg）适应于有序检验设置，同时不违反顺序拒绝的约束？
• RQ3 在将p值转换为单调统计量时，FDR控制在何种理论条件下能够保持？
• RQ4 能否通过利用零假设p值的已知分布特性，在顺序模型选择中实现更高的统计效能？
• RQ5 在不同信号强度和设计条件下，所提出的程序——ForwardStop、StrongStop和TailStop——在FDR控制与效能方面如何比较？

主要发现

• ForwardStop在假设最少的条件下控制错误发现率，对零假设p值分布的偏离具有鲁棒性。
• 当零假设p值受到随机上界约束时，StrongStop同时控制FDR与家庭错误率，提供更强的错误控制。
• TailStop相比其他方法显著提升了效能，尤其在中等和困难的模拟设置中，归因于其对零假设p值 $ \operatorname{Exp}(1/\ell) $ 衰减特性的利用。
• 在中等和困难设置中，TailStop是唯一对目标FDR水平 $ \alpha $ 敏感的方法，而其他方法在不同 $ \alpha $ 下均表现出近乎为零的观测FDR。
• 在低-$ \alpha $ 条件下，TailStop在中等难度设置中的效能接近竞争方法的十倍，显示出显著的效率提升。
• 所有方法在模拟中均在名义水平上控制了FDR，但仅TailStop在所有难度级别下保持了高统计效能，尤其在信号强度较低时表现突出。