[论文解读] Testing One Hypothesis Multiple times

Sara Algeri, David A. van Dyk|arXiv (Cornell University)|Jan 24, 2017

Statistical Methods in Clinical Trials参考文献 55被引用 3

一句话总结

该论文提出了一种计算高效的测试单一假设多次（TOHM）方法，在严格显著性要求下（例如 p < 10⁻⁷）进行推断，通过将极值理论（EVT）与蒙特卡洛模拟相结合，近似估计仅在备择假设下可识别的扰动参数模型的全局 p 值。该方法在仅需 100 次模拟的情况下，即可实现对突变探测、结构变化检测和非嵌套模型比较等场景的精确推断。

ABSTRACT

In applied settings, tests of hypothesis where a nuisance parameter is only identifiable under the alternative often reduces into one of Testing One Hypothesis Multiple times (TOHM). Specifically, a fine discretization of the space of the non-identifiable parameter is specified, and the null hypothesis is tested against a set of sub-alternative hypothesis, one for each point of the discretization. The resulting sub-test statistics are then combined to obtain a global p-value. In this paper, we discuss a computationally efficient inferential tool to perform TOHM under stringent significance requirements, such as those typically required in the physical sciences, (e.g., p-value $&lt;10^{-7}$). The resulting procedure leads to a generalized approach to perform inference under non-standard conditions, including non-nested models comparisons.

研究动机与目标

• 解决当扰动参数仅在备择假设下可识别时的统计推断挑战，该问题在高能物理和信号检测中普遍存在。
• 克服现有方法依赖特定案例推导、协方差估计或完整经验过程模拟的局限性。
• 开发一种可推广的、计算高效的框架，用于在严格显著性阈值（如 p < 10⁻⁷）下近似全局 p 值。
• 实现在非标准场景（如突变探测、结构变化检测和非嵌套模型比较）中的稳健推断。
• 提供实用工具，用于选择阈值和子检验数量，以确保推断的稳健性。

提出的方法

• 将全局检验形式化为在参数空间 Θ 上对随机过程 W(θ) 的上确界，其中全局 p 值定义为 P(supθ∈Θ W(θ) > c)。
• 应用极值理论（EVT）通过过程 W(θ) 对阈值 c 的上穿次数来界定全局 p 值，利用马尔可夫不等式：P(sup W(θ) > c) ≤ P(W(L) > c) + E[Nc]。
• 使用蒙特卡洛模拟估计期望上穿次数 E[Nc] 和尾部概率 P(W(L) > c)，从而实现对全局 p 值的高效近似。
• 将基于 EVT 的边界推广至似然比检验和 χ² 分布之外，扩展其在非标准检验统计量中的适用性。
• 将理论 EVT 边界与实际模拟相结合，在准确性和计算成本之间取得平衡，仅需 100 次模拟即可实现可靠推断。
• 开发图形化工具，用于指导在高显著性要求下选择阈值（c₀）和子检验数量（R），以实现稳健推断。

实验结果

研究问题

• RQ1 当扰动参数仅在备择假设下可识别时，如何高效近似全局 p 值？
• RQ2 在严格显著性水平（如 p < 10⁻⁷）下，实现精确推断所需的最少蒙特卡洛模拟次数是多少？
• RQ3 在高显著性设置下，所提出的 TOHM 方法与邦弗伦尼校正相比，在统计功效和第一类错误控制方面表现如何？
• RQ4 基于 EVT 的边界能否推广至似然比检验和 χ² 分布之外，以适应复杂、非标准的检验统计量？
• RQ5 如何在实际应用中选择合适的阈值和子检验数量，以确保在复杂现实问题中的稳健性和准确性？

主要发现

• 所提出的方法仅需 100 次蒙特卡洛模拟即可实现对全局 p 值的精确近似，与完整经验过程模拟相比显著降低了计算成本。
• 在示例 1（突变探测）中，TOHM 达到了 4.06σ 的显著性，优于邦弗伦尼校正的 3.69σ，表明在高显著性阈值下具有更高的检验功效。
• 在暗物质信号探测（示例 2）中，TOHM 在 θ̃ = 27.265 GeV 处识别出信号，接近真实值 35 GeV，尽管存在简化假设且缺乏方向性数据。
• 在断点回归模型（示例 3）中，TOHM 与 MHT 方法结果几乎一致（11.52σ vs. 11.43σ），证实了在高显著性和中等检验负载下的结果一致性。
• 该方法在严格显著性要求下有效控制了第一类错误率，适用于高能物理等对 p < 10⁻⁷ 有严格要求的领域。
• 用于阈值和子检验数量选择的图形化工具显著提升了方法的稳健性和实际可用性，尤其适用于复杂现实推断问题。