[论文解读] Statistical-Computational Tradeoffs in Planted Problems and Submatrix Localization with a Growing Number of Clusters and Submatrices

Yudong Chen, Jiaming Xu|arXiv (Cornell University)|Feb 6, 2014

Sparse and Compressive Sensing Techniques参考文献 81被引用 164

一句话总结

本文为具有不断增长聚类数/子矩阵数的植株聚类与子矩阵定位问题建立了统计-计算权衡框架。基于模型参数，识别出四种不同区域——不可能、困难、容易和简单——表明仅在容易和简单区域中，多项式时间算法可达到极小极大恢复极限；而在困难区域，需采用计算成本高昂的最大似然估计。

ABSTRACT

We consider two closely related problems: planted clustering and submatrix localization. The planted clustering problem assumes that a random graph is generated based on some underlying clusters of the nodes; the task is to recover these clusters given the graph. The submatrix localization problem concerns locating hidden submatrices with elevated means inside a large real-valued random matrix. Of particular interest is the setting where the number of clusters/submatrices is allowed to grow unbounded with the problem size. These formulations cover several classical models such as planted clique, planted densest subgraph, planted partition, planted coloring, and stochastic block model, which are widely used for studying community detection and clustering/bi-clustering. For both problems, we show that the space of the model parameters (cluster/submatrix size, cluster density, and submatrix mean) can be partitioned into four disjoint regions corresponding to decreasing statistical and computational complexities: (1) the \emph{impossible} regime, where all algorithms fail; (2) the \emph{hard} regime, where the computationally expensive Maximum Likelihood Estimator (MLE) succeeds; (3) the \emph{easy} regime, where the polynomial-time convexified MLE succeeds; (4) the \emph{simple} regime, where a simple counting/thresholding procedure succeeds. Moreover, we show that each of these algorithms provably fails in the previous harder regimes. Our theorems establish the minimax recovery limit, which are tight up to constants and hold with a growing number of clusters/submatrices, and provide a stronger performance guarantee than previously known for polynomial-time algorithms. Our study demonstrates the tradeoffs between statistical and computational considerations, and suggests that the minimax recovery limit may not be achievable by polynomial-time algorithms.

研究动机与目标

• 理解当聚类数/子矩阵数随问题规模增长时，植株聚类与子矩阵定位中恢复的根本极限。
• 刻画从噪声数据中恢复隐藏结构时，统计可行性与计算效率之间的相互作用。
• 建立一个基于恢复性能与算法复杂度的四区域框架（不可能、困难、容易、简单），对参数空间进行划分。
• 证明多项式时间算法在困难区域无法达到极小极大恢复极限，凸显统计能力与计算能力之间的根本差距。
• 提供在聚集群大小、密度与信号强度一般缩放下以高概率成立的紧致极小极大恢复边界。

提出的方法

• 形式化两个核心问题：随机图中的植株聚类与含多个不相交子矩阵的噪声矩阵中的子矩阵定位。
• 基于模型参数（聚集群大小 $K$，聚集群密度差异 $p-q$，信号均值 $μ$，聚集群数 $r$）提出四区域分类。
• 以最大似然估计（MLE）作为困难区域中统计性能的基准，证明其在其他方法失败时仍能成功。
• 提出一种凸化MLE，在容易区域中以多项式时间实现极小极大恢复，且在更困难区域中可证明失败。
• 设计一种简单的计数/阈值化程序，在简单区域中成功，且在所有先前区域中具有失败保证。
• 利用集中不等式（如Bernstein）及误分类节点的组合界，推导出等价类数量与解空间大小的上界。

实验结果

研究问题

• RQ1 在聚集群数/子矩阵数不断增长的情况下，恢复多个聚集群或子矩阵时，统计性能与计算效率之间的根本权衡是什么？
• RQ2 在哪些参数区域中，多项式时间算法可实现极小极大恢复？计算障碍位于何处？
• RQ3 极小极大恢复极限能否由高效算法实现？是否存在统计可行性与计算可行性之间的可证明差距？
• RQ4 聚集群数 $r$、聚集群大小 $K$ 与信噪比（$p-q$ 或 $μ$）如何共同影响隐藏结构的可恢复性？
• RQ5 在何种精确边界下，简单阈值化方法有效，而更复杂的优化方法成为必要？

主要发现

• 本文建立了参数空间的四区域划分：不可能（无算法成功）、困难（仅MLE成功）、容易（凸化MLE成功）、简单（阈值化成功）。
• 凸化MLE在容易区域中以多项式时间实现极小极大恢复，且在困难与不可能区域中可证明失败。
• 简单阈值化程序在简单区域中成功，且在所有先前区域中可证明失败，展现出锐利的相变现象。
• 极小极大恢复极限在常数范围内是紧致的，即使当聚集群数 $r$ 随 $n$ 无界增长时仍成立。
• 困难区域对多项式时间算法而言计算上不可行，因为MLE是唯一已知在此区域中能成功的方法。
• 通过集中与对称性论证，推导出误分类节点与等价类的组合界，从而对解空间大小实现紧密控制。