[论文解读] Unification of Rare and Weak Detection Models using Moderate Deviations Analysis and Log-Chisquared P-values

Alon Kipnis|arXiv (Cornell University)|Mar 6, 2021

Probability and Risk Models被引用 5

一句话总结

本文通过中偏差分析和对数卡方分布P值，统一了罕见且微弱的多重假设检验模型，表明渐近功效最准确地由非中心卡方近似描述，而非巴哈杜尔的对数正态近似。研究识别出伯克-琼斯检验和高阶临界值检验在可检测阶段为渐近最优，而费雪方法和FDR控制等其他检验则为次优。

ABSTRACT

Rare and Weak models for multiple hypothesis testing assume that only a small proportion of the tested hypotheses concern non-null effects and the individual effects are only moderately large, so they generally do not stand out individually, for example in a Bonferroni analysis. Such models have been studied in quite a few settings, for example in some cases studies focused on an underlying Gaussian means model for the hypotheses being tested; in others, Poisson and Binomial. Such seemingly different models have the following common structure. Summarizing the evidence of individual tests by the negative logarithm of its P-value, the model is asymptotically equivalent to a situation in which most negative log P-values have a standard exponential distribution but a small fraction might have an alternative distribution which is approximately noncentral chisquared on one degree of freedom. We characterize the asymptotic performance of global tests combining asymptotic log-chisquared P-values in terms of the chisquared mixture parameters: the scaling parameter controlling heteroscedasticity, the non-centrality parameter, and the parameter controlling the rarity of individual non-null effects. In a phase space involving the last two parameters, we derive a region where all tests are asymptotically powerless. Outside of this region, the Berk-Jones and the Higher Criticism tests have maximal power. Inference techniques based on the minimal P-value, false-discovery rate controlling, and Fisher's combination test have sub-optimal asymptotic phase diagrams. Our analysis yields the asymptotic power of global testing in various new rare and weak models, including two-sample heteroscedastic normal mixtures and binomial experiments with perturbed probabilities of success.

研究动机与目标

• 在单一渐近框架下统一多种罕见且微弱的多重假设检验模型，包括高斯分布、泊松分布、二项分布以及两样本异方差正态混合模型。
• 解决现有方法的局限性，特别是巴哈杜尔的对数正态近似在中偏差尺度下对罕见且微弱信号失效的问题。
• 以卡方混合分布参数（缩放参数（异方差性）、非中心参数（效应大小）和稀疏性（罕见性））来表征全局检验的渐近功效。
• 推导出一个相图，识别出渐近无力区域与可检测区域，其中高阶临界值检验和伯克-琼斯检验在可检测区域内达到最大功效。
• 为新旧罕见且微弱模型中的推断程序校准提供指导，包括两样本异方差正态混合模型和扰动二项分布实验。

提出的方法

• 提出罕见中度偏离（RMD）模型，通过标准指数分布与非中心卡方(1)分布的混合来刻画全局零假设与备择假设下的P值。
• 使用中偏差分析来建模阶为√(q log n / n)的偏离，其中q > 0，确保对罕见且微弱信号的渐近有效性。
• 采用对数卡方近似处理负对数P值，表明该方法在该尺度下比巴哈杜尔的对数正态近似更具准确性。
• 以混合参数σ²（异方差性）、λ（非中心性）和π（稀疏性）为基准，推导全局检验（如高阶临界值检验、伯克-琼斯检验、费雪方法、FDR控制程序）的渐近功效。
• 建立一条相变曲线ρ(β,σ)，将渐近无力区域与可检测区域分隔，其中β代表效应大小，ρ代表信号强度。
• 将该框架应用于新模型，包括两样本异方差正态混合模型和成功概率受扰动的二项分布实验，推导其渐近功效行为。

实验结果

研究问题

• RQ1 能否为不同数据生成机制下的罕见且微弱多重假设检验模型构建统一的渐近框架？
• RQ2 为何在中偏差尺度下，对数卡方近似比对数正态近似（如巴哈杜尔的近似）更优，能更准确刻画罕见且微弱信号的检测功效？
• RQ3 在罕见且微弱模型的可检测阶段，哪些全局检验程序达到渐近最优？其相图如何？
• RQ4 异方差性与信号稀疏性如何共同影响多重检验问题中的可检测阈值？
• RQ5 在新模型（如两样本异方差正态混合模型）中，标准程序（如费雪方法、FDR控制、最小P值检验）的渐近功效如何？

主要发现

• 在RMD模型下，负对数P值的对数卡方近似具有渐近准确性，并提供了信号检测的信息论极限。
• 在相空间的可检测区域内，伯克-琼斯检验与高阶临界值检验达到最大渐近功效，而费雪方法与FDR控制程序则为渐近次优。
• 相变曲线ρ(β,σ)将渐近无力区域与可检测区域分隔，该曲线依赖于效应大小β与异方差性σ²。
• 在两样本设定下，当同方差性（σ=1）时，检测所需的效应大小为单样本情况的两倍，但在过度或不足离散时该比例会发生变化。
• 该框架成功刻画了新模型中的渐近功效，包括两样本异方差正态混合模型与成功概率受扰动的二项分布实验。
• 安德森-达尔林检验证实，对于中度扰动的P值，非中心卡方模型的拟合优于正态近似，尤其在罕见且微弱的设定下表现更优。