[论文解读] Power of Ordered Hypothesis Testing

Lihua Lei, William Fithian|arXiv (Cornell University)|Jun 6, 2016

Statistical Methods in Clinical Trials参考文献 15被引用 12

一句话总结

该论文提出自适应序列步骤（AS），一种改进的有序多重检验程序，通过自适应估计非零假设的比例，提升了选择性序列步骤（Selective SeqStep）的统计功效，在不同排序质量下均表现更优。该方法在可变系数两组模型下渐近最优，当先验排序较弱或非零效应稀疏且微弱时，优于累积检验方法（如ForwardStop）。

ABSTRACT

Ordered testing procedures are multiple testing procedures that exploit a pre-specified ordering of the null hypotheses, from most to least promising. We analyze and compare the power of several recent proposals using the asymptotic framework of Li & Barber (2015). While accumulation tests including ForwardStop can be quite powerful when the ordering is very informative, they are asymptotically powerless when the ordering is weaker. By contrast, Selective SeqStep, proposed by Barber & Candès (2015), is much less sensitive to the quality of the ordering. We compare the power of these procedures in different régimes, concluding that Selective SeqStep dominates accumulation tests if either the ordering is weak or non-null hypotheses are sparse or weak. Motivated by our asymptotic analysis, we derive an improved version of Selective SeqStep which we call Adaptive SeqStep, analogous to Storey's improvement on the Benjamini-Hochberg procedure. We compare these methods using the GEOQuery data set analyzed by Li & Barber (2015) and find Adaptive SeqStep has favorable performance for both good and bad prior orderings.

研究动机与目标

• 开发一种更具功效且鲁棒的多重检验程序，能够利用先验假设排序，同时在排序较弱或无信息时仍保持有效性。
• 通过引入非零比例的自适应估计，扩展选择性序列步骤程序，类似于Storey对Benjamini-Hochberg方法的改进。
• 分析自适应序列步骤的渐近功效，并在不同模型设定下与现有方法（如累积检验和选择性序列步骤）进行比较。
• 利用GEOQuery数据集的真实数据验证理论发现，证明在良好和较差先验排序下性能均具鲁棒性。

提出的方法

• 提出自适应序列步骤（AS），一种新颖的有序检验程序，通过数据驱动的阈值方法自适应估计非零假设的比例。
• 使用p值的平滑经验分布函数来估计非零假设的累积比例，相较于固定阈值方法，提高了FDR控制和检验功效。
• 基于可变系数两组模型，推导AS的渐近FDR估计量，从而在大样本条件下实现精确的功效分析。
• 应用Lipschitz连续性论证，证明估计的FDP几乎必然收敛到其理论对应值，确保渐近FDR控制。
• 提出一种阈值规则：选择最大的k，使得估计的FDR保持在目标水平q以下，以在控制错误率的同时最大化发现数。
• 采用两阶段估计策略：首先通过插值估计器估计非零比例，然后利用该估计值校准拒绝阈值，从而提升检验功效。

实验结果

研究问题

• RQ1 当先验假设排序较弱或无信息时，自适应序列步骤与选择性序列步骤及累积检验相比，其功效如何？
• RQ2 在可变系数两组模型下，自适应序列步骤的渐近功效是多少？其与非零效应强度和稀疏性的关系如何？
• RQ3 与固定阈值或非自适应方法相比，对非零比例进行自适应估计是否能显著提升有序检验中的发现功效？
• RQ4 自适应序列步骤的性能如何随先验排序质量变化，尤其是在排序较差或具有误导性时？
• RQ5 自适应序列步骤的提升功效是否在有限样本设置下依然成立，特别是在真实基因组数据上？

主要发现

• 当估计的FDR阈值位于非零区域边界时，自适应序列步骤达到渐近功效 $ F_1(s) $，表明在有利条件下实现最优发现率。
• 当FDR阈值位于非零区域内部时，自适应序列步骤的渐近功效为 $ \frac{t^{*}_{AS} \Pi(t^{*}_{AS}) F_1(s)}{\Pi(1)} $，其中 $ t^{*}_{AS} $ 是由FDR约束确定的最优停止点。
• 当先验排序较弱或非零效应稀疏且微弱时，自适应序列步骤优于ForwardStop等累积检验方法，因其对不良排序具有更强鲁棒性。
• 当先验排序非常有信息量时，累积检验方法仍可能优于AS，但随着排序质量下降，该优势迅速减弱。
• 有限样本模拟和GEOQuery剂量反应数据集的真实数据分析表明，自适应序列步骤在良好和较差排序下均保持高功效。
• 渐近分析证实，自适应序列步骤具有一致性，并实现估计FDP几乎必然收敛到其理论值，确保可靠的FDR控制。