[论文解读] Phase Transitions for High Dimensional Clustering and Related Problems

Jiashun Jin, Zheng Tracy Ke+1 more|arXiv (Cornell University)|Feb 24, 2015

Bayesian Methods and Mixture Models参考文献 40被引用 10

一句话总结

本文在稀疏、罕见且微弱信号的高维聚类模型下，精确界定了相变边界，识别出聚类在统计上可行的‘可能区域’与不可行的‘不可能区域’。文章提出了重要特征主成分分析（IF-PCA），并证明通过IF-PCA实现成功聚类当且仅当后选择数据矩阵的第一左奇异向量渐近地与真实类别标签对齐。

ABSTRACT

Consider a two-class clustering problem where we observe $X_i = \ell_i μ+ Z_i$, $Z_i \stackrel{iid}{\sim} N(0, I_p)$, $1 \leq i \leq n$. The feature vector $μ\in R^p$ is unknown but is presumably sparse. The class labels $\ell_i\in\{-1, 1\}$ are also unknown and the main interest is to estimate them. We are interested in the statistical limits. In the two-dimensional phase space calibrating the rarity and strengths of useful features, we find the precise demarcation for the Region of Impossibility and Region of Possibility. In the former, useful features are too rare/weak for successful clustering. In the latter, useful features are strong enough to allow successful clustering. The results are extended to the case of colored noise using Le Cam's idea on comparison of experiments. We also extend the study on statistical limits for clustering to that for signal recovery and that for hypothesis testing. We compare the statistical limits for three problems and expose some interesting insight. We propose classical PCA and Important Features PCA (IF-PCA) for clustering. For a threshold $t > 0$, IF-PCA clusters by applying classical PCA to all columns of $X$ with an $L^2$-norm larger than $t$. We also propose two aggregation methods. For any parameter in the Region of Possibility, some of these methods yield successful clustering. We find an interesting phase transition for IF-PCA. Our results require delicate analysis, especially on post-selection Random Matrix Theory and on lower bound arguments.

研究动机与目标

• 确定在特征稀疏、微弱且稀少的高维聚类模型中，聚类的统计极限。
• 识别出将聚类不可能区域与可能区域分隔开的精确相变边界。
• 将分析扩展至相同高维渐近框架下的信号恢复与全局假设检验问题。
• 在后选择推断背景下，评估经典PCA与一种新方法——重要特征主成分分析（IF-PCA）的性能。
• 通过将统计极限与计算上可行方法的极限进行比较，建立计算可实现性的阈值。

提出的方法

• 将数据建模为 $X_i = \ell_i \mu + Z_i$，其中 $Z_i \sim N(0, I_p)$，$\ell_i \in \{-1,1\}$ 为独立同分布的标签，$\mu \in \mathbb{R}^p$ 为稀疏均值向量。
• 定义一个由信号稀有度 ($p^{-q}$) 和信号强度 ($\tau_p$) 校准的二维相空间，其中 $q$ 和 $\tau_p$ 控制渐近行为。
• 提出重要特征主成分分析（IF-PCA）方法：对 $X$ 的列中 $L^2$-范数超过阈值 $t > 0$ 的列应用经典PCA，然后使用第一左奇异向量进行聚类。
• 利用莱·卡姆的实验比较理论，将结果从独立同分布噪声推广至有色噪声模型。
• 采用后选择随机矩阵理论，分析后选择数据矩阵的主奇异向量与真实标签向量 $\ell$ 之间的余弦相似度。
• 利用 $L^1$-距离和集中不等式推导下界，特别分析 $\chi^2$ 和正态尾部概率的尾部行为。

实验结果

研究问题

• RQ1 在 $(q, \tau_p)$-平面上，聚类从统计上不可能变为可能的精确相变边界是什么？
• RQ2 在何种条件下IF-PCA能成功恢复真实类别标签？其性能如何依赖于阈值 $t$？
• RQ3 在罕见/微弱信号模型下，聚类的统计极限与信号恢复及全局假设检验的统计极限相比如何？
• RQ4 该相变边界能否从独立同分布噪声推广至具有已知协方差结构的一般高斯噪声？
• RQ5 在信号稀疏且微弱时，特征选择在提升聚类性能方面起到什么作用？

主要发现

• 聚类的‘可能区域’由 $\sqrt{q} + \tau_p > \sqrt{2 \log p}$ 描述，超过此边界时聚类在统计上是可行的。
• 对于IF-PCA，当且仅当存在某个阈值 $t > 0$ 使得 $\cos(\xi^{(t)}, \ell) \to 1$ 当 $n, p \to \infty$ 时，聚类才能成功，而这一条件恰好在‘可能区域’内成立。
• 在‘不可能区域’中，对所有 $t > 0$，有 $\cos(\xi^{(t)}, \ell) \leq c_0 < 1$，这意味着无论选择何种阈值都无法实现一致聚类。
• 本文证明了聚类性能的下界是紧的，原假设下 $\pi_0 \sim \bar{\Phi}(t)(1 + L_p n^{-1/2})$，当 $r > q$ 时，$\pi_1$ 随 $p$ 指数衰减。
• 信号恢复与全局检验的相变边界与聚类相同，表明在该高维渐近框架下，这三个问题在统计上是等价的。
• 分析表明，经典PCA在罕见/微弱信号区域失效，而IF-PCA在信号强度与稀疏度超过相变阈值时能够成功。