[论文解读] PECOK: a convex optimization approach to variable clustering

Florentina Bunea, Christophe Giraud+2 more|arXiv (Cornell University)|Jun 16, 2016

Bayesian Methods and Mixture Models参考文献 16被引用 13

一句话总结

PECOK 是一种用于变量聚类的凸优化框架，相较于 K-means，它通过半定规划实现近极小极大最优的聚类恢复，适用于 G-潜在模型。它在聚类数未知且自适应估计的情况下，仍能以匹配极小极大下界的分离速率实现对真实聚类的一致恢复。

ABSTRACT

The problem of variable clustering is that of grouping similar components of a $p$-dimensional vector $X=(X_{1},\ldots,X_{p})$, and estimating these groups from $n$ independent copies of $X$. When cluster similarity is defined via $G$-latent models, in which groups of $X$-variables have a common latent generator, and groups are relative to a partition $G$ of the index set $\{1, \ldots, p\}$, the most natural clustering strategy is $K$-means. We explain why this strategy cannot lead to perfect cluster recovery and offer a correction, based on semi-definite programing, that can be viewed as a penalized convex relaxation of $K$-means (PECOK). We introduce a cluster separation measure tailored to $G$-latent models, and derive its minimax lower bound for perfect cluster recovery. The clusters estimated by PECOK are shown to recover $G$ at a near minimax optimal cluster separation rate, a result that holds true even if $K$, the number of clusters, is estimated adaptively from the data. We compare PECOK with appropriate corrections of spectral clustering-type procedures, and show that the former outperforms the latter for perfect cluster recovery of minimally separated clusters.

研究动机与目标

• 为解决 K-means 在 G-潜在模型下无法实现完美聚类恢复的问题，其中相似性由共享的潜在生成器定义。
• 通过半定规划构建 K-means 的凸松弛，实现一致且最优的聚类估计。
• 为 G-潜在模型建立一个量身定制的极小极大最优聚类分离速率，确保恢复的理论保证。
• 将 PECOK 与谱聚类类方法进行比较，证明其在恢复最小分离聚类方面的优越性。

提出的方法

• PECOK 将变量聚类建模为一个带惩罚项的半定规划问题，将非凸的 K-means 目标函数松弛为凸优化问题。
• 它利用了在 G-潜在模型下协方差矩阵的块结构，其中同一组内的变量共享一个共同的潜在分量。
• 该方法通过求解 K-means 目标函数的凸松弛来估计聚类分配，使用变换后协方差矩阵的特征向量。
• 它提出了一种基于典型组内-组间协方差间隙的聚类分离度量 Δ(C)，用于量化潜在分量之间的距离。
• 该算法在去除对角线成分后的样本协方差矩阵的主导特征向量上执行旋转不变的聚类步骤。
• 理论分析依赖于 Davis-Kahan 不等式和浓度不等式，以控制特征向量扰动并推导出高概率误差界。

实验结果

研究问题

• RQ1 K-means 的凸松弛是否能在 G-潜在模型下实现近极小极大最优的聚类恢复？
• RQ2 G-潜在模型下的聚类分离的极小极大最优速率是多少？能否通过数据驱动方法实现？
• RQ3 在最小分离条件下，PECOK 与谱聚类类方法在完美聚类恢复方面的表现如何比较？
• RQ4 当聚类数未知且从数据中估计时，PECOK 是否仍能保持最优性能？
• RQ5 所提出的分离度量 Δ(C) 是否可作为聚类显著性的一种有意义且具有统计可解释性的度量？

主要发现

• PECOK 在分离速率上实现了完美聚类恢复，该速率与 G-潜在模型下 Δ(C) 的极小极大下界一致，仅相差对数因子。
• 该方法以 (log p / n)^(1/2) 的速率恢复真实划分 G，该速率对 G-潜在模型而言是极小极大最优的。
• PECOK 在恢复最小分离聚类方面优于校正后的谱聚类方法，尤其在高维设置下表现更优。
• 即使聚类数 K 从数据中自适应估计，该算法仍能保持近最优性能。
• 只要分离度 Δ(C) 满足 Δ(C) ≥ c (log p / n)^(1/2)（c 为某常数），理论保证以高概率成立。
• 该方法通过避免 K-means 固有的局部最优问题，借助凸松弛实现了聚类结构的一致估计。