[论文解读] Optimal Detection For Sparse Mixtures

Tommaso Cai, Yihong Wu|arXiv (Cornell University)|Nov 9, 2012

Advanced Statistical Process Monitoring参考文献 25被引用 4

一句话总结

本文在一般统计模型下建立了稀疏混合模型的最优检测边界，表明检测极限由零假设分布临界分位数处的对数似然比决定。证明了高阶批评检验在满足温和正则性条件的所有稀疏混合模型中具有自适应最优性，统一并扩展了以往在高斯和指数族模型之外的研究结果。

ABSTRACT

Detection of sparse signals arises in a wide range of modern scientific studies. The focus so far has been mainly on Gaussian mixture models. In this paper, we consider the detection problem under a general sparse mixture model and obtain an explicit expression for the detection boundary. It is shown that the fundamental limits of detection is governed by the behavior of the log-likelihood ratio evaluated at an appropriate quantile of the null distribution. We also establish the adaptive optimality of the higher criticism procedure across all sparse mixtures satisfying certain mild regularity conditions. In particular, the general results obtained in this paper recover and extend in a unified manner the previously known results on sparse detection far beyond the conventional Gaussian model and other exponential families.

研究动机与目标

• 推导高斯模型之外稀疏混合模型的根本检测边界。
• 刻画在高维稀疏信号设置下可靠检测可能成立的条件。
• 建立高阶批评程序在广泛类稀疏混合模型中的自适应最优性。
• 统一并扩展先前关于高斯和指数族模型中稀疏检测的研究结果。

提出的方法

• 通过零假设分布特定分位数处对数似然比的渐近行为推导检测边界。
• 应用信息论工具，包括总变差距离和赫林格距离，刻画零假设与备则假设之间的分离程度。
• 利用 f-散度的数据处理不等式，对乘积测度中的总变差距离进行上界估计。
• 建立在混合操作下赫林格距离与总变差距离的单调性性质，以分析检测阈值。
• 通过最大检验向极值理论的约化，证明其收敛至检测边界。
• 证明高阶批评统计量在无需已知稀疏性或信号强度参数的情况下，可达到最优检测边界。

实验结果

研究问题

• RQ1 一般稀疏混合模型的根本检测边界是什么？
• RQ2 在临界分位数处对数似然比的行为如何决定检测极限？
• RQ3 在何种条件下高阶批评检验在不同稀疏混合模型中具有自适应最优性？
• RQ4 能否将高斯与非高斯模型的检测边界统一起来？
• RQ5 总变差距离与赫林格距离在刻画可检测性方面起什么作用？

主要发现

• 检测边界由零假设分布特定分位数处的对数似然比决定，该值决定了可检测性的根本极限。
• 在满足温和正则性条件的所有稀疏混合模型中，高阶批评程序具有自适应最优性，且无需已知稀疏性或信号强度参数。
• 经典高斯稀疏混合模型的检测边界被恢复并扩展，包括当 $ \frac{1}{2} < \beta \leq \frac{3}{4} $ 时的精确阈值 $ r^*(\beta) = \beta - \frac{1}{2} $，以及当 $ \frac{3}{4} < \beta < 1 $ 时的 $ (1 - \sqrt{1 - \beta})^2 $。
• 对于任意 $ \beta < 1 $，零假设与备则产品测度之间的总变差距离收敛至 1，表明在非零分布尾部满足温和条件时，可靠检测是可能的。
• 最大检验在一般情况下为次优，在经典稀疏高斯模型中当 $ \beta \in [\frac{1}{2}, \frac{3}{4}] $ 时无法达到最优边界。
• 本文证明了 $ \frac{1}{4} \leq \frac{H^2(P, (1-\epsilon)Q_0 + \epsilon Q_1)}{\epsilon \vee H^2(P, Q_0)} \leq 4 $，建立了赫林格距离与混合散度之间稳健的标度关系。