[论文解读] Multiple testing when many $p$-values are uniformly conservative, with application to testing qualitative interaction in educational interventions

Qingyuan Zhao, Dylan S. Small+1 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Causal Inference Techniques参考文献 4被引用 6

一句话总结

本文提出一种基于条件的多重检验方法，用于在许多p值呈现一致保守性时检测教育和医学干预中的定性交互作用，显著提升了经典方法的检验效能。该方法通过自适应选择阈值τ进行条件处理，利用单侧检验和正态位置尺度模型中的均匀保守性，理论分析与模拟结果均表明：在存在保守性时可获得显著的效能提升，而在无保守性时损失极小。

ABSTRACT

In the evaluation of treatment effects, it is of major policy interest to know if the treatment is beneficial for some and harmful for others, a phenomenon known as qualitative interaction. We formulate this question as a multiple testing problem with many conservative null $p$-values, in which the classical multiple testing methods may lose power substantially. We propose a simple technique---conditioning---to improve the power. A crucial assumption we need is uniform conservativeness, meaning for any conservative $p$-value $p$, the conditional distribution $(p/τ)\,|\,p \le τ$ is stochastically larger than the uniform distribution on $(0,1)$ for any $τ$. We show this property holds for one-sided tests in a one-dimensional exponential family (e.g.\ testing for qualitative interaction) as well as testing $|μ|\leη$ using a statistic $X \sim \mathrm{N}(μ,1)$ (e.g.\ testing for practical importance with threshold $η$). We propose an adaptive method to select the threshold $τ$. Our theoretical and simulation results suggest the proposed tests gain significant power when many $p$-values are uniformly conservative and lose little power when no $p$-value is uniformly conservative. We apply our method to two educational intervention datasets.

研究动机与目标

• 解决在存在大量保守p值的多中心或元分析研究中检测定性交互作用（即某些亚组受益而另一些亚组受损）的挑战。
• 克服经典多重检验程序在p值普遍保守时出现的效能损失问题，该问题在亚组和多中心分析中极为常见。
• 开发一种可自适应保守程度的检验方法，通过选择最优阈值τ进行条件处理。
• 确保当p值普遍保守时方法具有高检验效能，而在p值不保守时Type I错误控制保持最小化。
• 将该方法应用于真实教育干预数据集，评估在调整校历和写作学习项目中是否存在定性交互作用。

提出的方法

• 提出一种基于条件的多重检验程序，通过利用原假设下p值的均匀保守性来提升检验效能。
• 将均匀保守性定义为：对任意τ，条件分布(p/τ | p ≤ τ)在随机意义下大于Uniform(0,1)，该性质在指数族单侧检验及带阈值的正态均值检验中成立。
• 采用经验贝叶斯或插值法选择数据自适应的阈值τ，以在保守性假设下优化检验效能。
• 将方法应用于检验全局零假设H₀ = H₀⁺ ∪ H₀⁻，其中H₀⁺表示所有效应非负，H₀⁻表示所有效应非正，以检测定性交互作用。
• 利用极值理论与高斯过程近似推导检验统计量的渐近性质，特别关注相关正态变量最大值的分布。
• 建立理论保证：该方法可控制族错误率，并在p值均匀保守时实现比Bonferroni或Benjamini-Hochberg方法更高的检验效能。

实验结果

研究问题

• RQ1 当大量p值呈现均匀保守性时，能否提升多重检验程序的效能，特别是在检测定性交互作用方面？
• RQ2 在均匀保守性下，基于数据自适应阈值τ的条件处理是否能产生比经典方法更强大的检验？
• RQ3 在何种条件下，所提方法既能保持高检验效能，又能维持Type I错误控制？
• RQ4 该方法在包含潜在定性交互作用的真实教育干预数据集中表现如何？
• RQ5 在常见场景（如指数族单侧检验或带阈值的正态均值检验）中，均匀保守性假设是否合理？

主要发现

• 当p值呈现均匀保守性时，所提条件方法在检测多中心或元分析研究中的定性交互作用方面实现了显著的效能提升。
• 当无p值呈现均匀保守性时，该方法保持了较低的Type I错误率，且效能损失极小，展现出跨场景的稳健性。
• 理论分析表明，在均匀保守性下，检验统计量p_min × n_c / c 依概率发散，从而实现族错误率的强控制。
• 模拟与真实数据应用（包括调整校历和写作学习干预）均表明该方法具有实际应用价值，并能更有效地识别有害亚组。
• 当亚组数量n较大时，该方法尤为有效，其效能随n^ε / √log n增长（ε > 0），在保守性下表现更优。
• 在存在大量保守p值的场景中，尤其当存在定性交互作用时，该条件方法在效能上显著优于Bonferroni和Benjamini-Hochberg等标准方法。