[论文解读] Submatrix localization via message passing

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Oct 30, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用 17

一句话总结

本论文提出了一种针对噪声矩阵中子矩阵定位的优化消息传递算法，在 $\Omega(\sqrt{n}) \leq K \leq o(n)$ 的范围内，当信噪比 $\lambda = \mu^2K^2/n > 1/e$ 时实现了弱恢复。该算法时间复杂度为 $O(n^2\log n)$，并可扩展至具有精确信息理论恢复阈值的噪声双聚类问题。

ABSTRACT

The principal submatrix localization problem deals with recovering a $K imes K$ principal submatrix of elevated mean $μ$ in a large $n imes n$ symmetric matrix subject to additive standard Gaussian noise. This problem serves as a prototypical example for community detection, in which the community corresponds to the support of the submatrix. The main result of this paper is that in the regime $Ω(\sqrt{n}) \leq K \leq o(n)$, the support of the submatrix can be weakly recovered (with $o(K)$ misclassification errors on average) by an optimized message passing algorithm if $λ= μ^2K^2/n$, the signal-to-noise ratio, exceeds $1/e$. This extends a result by Deshpande and Montanari previously obtained for $K=Θ(\sqrt{n}).$ In addition, the algorithm can be extended to provide exact recovery whenever information-theoretically possible and achieve the information limit of exact recovery as long as $K \geq \frac{n}{\log n} (\frac{1}{8e} + o(1))$. The total running time of the algorithm is $O(n^2\log n)$. Another version of the submatrix localization problem, known as noisy biclustering, aims to recover a $K_1 imes K_2$ submatrix of elevated mean $μ$ in a large $n_1 imes n_2$ Gaussian matrix. The optimized message passing algorithm and its analysis are adapted to the bicluster problem assuming $Ω(\sqrt{n_i}) \leq K_i \leq o(n_i)$ and $K_1\asymp K_2.$ A sharp information-theoretic condition for the weak recovery of both clusters is also identified.

研究动机与目标

• 解决大型噪声对称矩阵中的子矩阵定位问题，其中在 $n \times n$ 矩阵中嵌入一个均值为 $\mu$ 的 $K \times K$ 子矩阵，且该矩阵受到独立同分布的高斯噪声污染。
• 将先前关于弱恢复的研究结果从 $K = \Theta(\sqrt{n})$ 的范围扩展至更广泛的次线性范围 $\Omega(\sqrt{n}) \leq K \leq o(n)$。
• 提出一种算法，在信息理论允许的任何情况下均可实现精确恢复，特别是在 $K \geq \frac{n}{\log n}\left(\frac{1}{8e} + o(1)\right)$ 时。
• 将消息传递框架适配至非对称噪声双聚类问题，识别出对行和列聚类实现弱恢复的精确条件。

提出的方法

• 基于埃尔米特多项式展开设计优化的消息传递算法，以最大化信噪比，替代先前工作中使用的截断泰勒级数。
• 将该算法应用于对称主子矩阵问题，并将其扩展至 $K_1 \times K_2$ 子矩阵支持的非对称噪声双聚类设置。
• 利用信噪比 $\lambda = \mu^2K^2/n$ 作为关键参数，以确定恢复阈值。
• 使用统计假设检验工具分析算法，特别是区分 $\mathcal{N}(\mu K, n)$ 与 $\mathcal{N}(0, n)$ 的错误概率 $\textsf{p}_e(\pi_1, s^2)$。
• 在双聚类情况下采用投票机制与逐次排除策略，以在弱信号条件下提升恢复精度。
• 通过率失真理论论证与集中不等式建立理论保证，证明在特定条件下错误率收敛至零。

实验结果

研究问题

• RQ1 当 $K$ 随 $n$ 次线性增长时，是否可通过消息传递实现对 $K \times K$ 主子矩阵的弱恢复，超越 $K = \Theta(\sqrt{n})$ 的范围？
• RQ2 子矩阵定位问题中弱恢复的信息理论阈值是什么？是否存在一种高效算法可达到此极限？
• RQ3 消息传递框架能否被适配至非对称噪声双聚类问题，其中行聚类与列聚类大小 $K_1$ 和 $K_2$ 不相等？
• RQ4 在何种条件下，所提算法可实现精确恢复？其性能与信息理论极限相比如何？
• RQ5 在消息传递中使用埃尔米特多项式相较于截断泰勒级数，如何提升信噪比？

主要发现

• 当 $\lambda = \mu^2K^2/n > 1/e$ 时，可通过消息传递实现对 $K \times K$ 子矩阵的弱恢复，该结果将先前仅需 $K = \Theta(\sqrt{n})$ 的结果扩展至更广范围。
• 该算法时间复杂度为 $O(n^2\log n)$，在次线性范围内实现接近线性的时间复杂度，适用于弱恢复。
• 当 $K \geq \frac{n}{\log n}\left(\frac{1}{8e} + o(1)\right)$ 时，只要信息理论允许，该算法即可实现精确恢复。
• 在 $K_1 \asymp K_2$ 的噪声双聚类设置中，该算法在严格条件下实现弱恢复，当 $\lambda > 1/e$ 时错误概率收敛至零。
• 分析表明 $\lambda > 1/e$ 是弱恢复的充分条件，尽管其条件比信息理论阈值 $\lambda > \frac{4K}{n}\log\frac{n}{K}$ 更为严格。
• 所提出的逐次排除与投票方法可提升双聚类情况下的恢复性能，错误率在推导条件下收敛至零。