[论文解读] Sequential Multiple Testing

Shiyun Chen, Ery Arias-Castro|arXiv (Cornell University)|May 25, 2017

Statistical Methods in Clinical Trials参考文献 22被引用 3

一句话总结

本文研究了顺序多重假设检验程序 LORD 和 LOND，这些程序在假设按顺序到达的在线设置下控制错误发现率（FDR）。研究证明，LORD 在稀疏混合广义高斯模型中渐近最优，其统计功效与经典 Benjamini-Hochberg 程序在第一阶渐近意义下相当；而 LOND 被证明可渐近控制错误非发现率（FNR）。

ABSTRACT

We study an online multiple testing problem where the hypotheses arrive sequentially in a stream. The test statistics are independent and assumed to have the same distribution under their respective null hypotheses. We investigate two procedures LORD and LOND, proposed by (Javanmard and Montanari, 2015), which are proved to control the FDR in an online manner. In some (static) model, we show that LORD is optimal in some asymptotic sense, in particular as powerful as the (static) Benjamini-Hochberg procedure to first asymptotic order. We also quantify the performance of LOND. Some numerical experiments complement our theory.

研究动机与目标

• 研究在线多重检验程序在顺序假设检验框架下的渐近最优性。
• 评估 Javanmard 和 Montanari（2015）提出的 LORD 和 LOND 程序在假设按顺序到达时控制错误发现率（FDR）的性能。
• 建立 LORD 在渐近极限下实现的统计功效与经典 Benjamini-Hochberg 程序相当。
• 量化 LOND 在稀疏混合广义高斯模型中的错误非发现率（FNR）性能。
• 为两种程序的渐近行为提供理论保证并辅以数值验证。

提出的方法

• 提出使用 LORD 和 LOND 两种在线多重检验程序，旨在实现实时顺序检验中的 FDR 控制。
• 在稀疏混合渐近模型下分析这些程序，其中信号强度服从广义高斯分布。
• 利用矩生成函数和极值理论，推导出期望发现数和错误发现数的渐近界。
• 运用耦合论证和鞅技巧，对期望停止时间和发现过程进行界控。
• 利用检验统计量的生存函数和标准正态分布的分位函数，建模尾部概率并推导渐近 FNR 界。
• 采用基于随先前发现数动态变化的显著性水平的阈值规则，确保 FDR 控制。

实验结果

研究问题

• RQ1 在所有在线 FDR 控制程序中，LORD 在统计功效方面是否渐近最优？
• RQ2 随着假设数量的增加，LOND 的错误非发现率（FNR）行为如何？
• RQ3 LORD 的统计功效与经典 Benjamini-Hochberg 程序之间的渐近关系是什么？
• RQ4 在何种条件下，LOND 在稀疏混合模型中实现趋于零的 FNR？
• RQ5 LORD 和 LOND 中的动态显著性水平如何影响 FDR 与 FNR 控制之间的权衡？

主要发现

• LORD 在渐近意义下最优，其统计功效与静态的 Benjamini-Hochberg 程序在第一阶渐近项上一致。
• LORD 下的期望发现数增长为 $ n^{eta + ( u^{1/rac{1}{ u}} - r^{1/ u})^{ u} + o(1)} $，指数反映了信号强度与稀疏性。
• LOND 渐近控制错误非发现率（FNR），在条件 $ r > \beta + (\nu^{1/\gamma} - r^{1/\gamma})^\gamma + \eta $ 下，有 $ \textsc{fnr}_n \to 0 $ 当 $ n \to \infty $。
• LOND 的 FNR 上界为 $ 2\delta + \bar{F}(\lambda_n \zeta_n) + o(1) $，且由于 $ \lambda_n \zeta_n \to 0 $，尾部概率 $ \bar{F}(\lambda_n \zeta_n) \to 0 $，从而确保 FNR 收敛至零。
• 分析表明 $ \operatorname{\mathbb{E}}[\tau_l \wedge n] \leq l \cdot n^{\beta + (\nu^{1/\gamma} - r^{1/\gamma})^\gamma + o(1)} $，为期望发现数提供了上界。
• 数值实验补充了理论结果，验证了两种程序在不同信号稀疏性水平下的渐近行为与鲁棒性。