[论文解读] Optimal Clustering in Anisotropic Gaussian Mixture Models

Xin Chen, Anderson Y. Zhang|arXiv (Cornell University)|Jan 14, 2021

Bayesian Methods and Mixture Models参考文献 22被引用 5

一句话总结

本文在协方差矩阵未知且不相同的各向异性高斯混合模型（GMMs）下建立了聚类的极小极大下界，表明信噪比（SNR）同时依赖于聚类中心和协方差结构。本文提出了一种类似硬EM的算法，在少数迭代内即可达到最优速率，通过将Lloyd算法改进以处理各向异性的协方差。

ABSTRACT

We study the clustering task under anisotropic Gaussian Mixture Models where the covariance matrices from different clusters are unknown and are not necessarily the identical matrix. We characterize the dependence of signal-to-noise ratios on the cluster centers and covariance matrices and obtain the minimax lower bound for the clustering problem. In addition, we propose a computationally feasible procedure and prove it achieves the optimal rate within a few iterations. The proposed procedure is a hard EM type algorithm, and it can also be seen as a variant of the Lloyd's algorithm that is adjusted to the anisotropic covariance matrices.

研究动机与目标

• 刻画协方差矩阵未知且不一定相等的各向异性GMM中聚类的根本极限。
• 在同质与异质协方差模型下，建立聚类误差率的极小极大下界。
• 设计一种计算上可行的算法，使其在各向异性设置下达到最优速率。
• 证明标准方法如Lloyd算法和谱聚类在各向异性情况下会失效，原因在于缺乏对协方差结构的感知设计。
• 表明各向异性GMM中的信噪比涉及对聚类差异的马氏距离型变换，反映出协方差结构的作用。

提出的方法

• 通过将聚类问题与线性及二次判别分析（LDA/QDA）关联，利用信息论论证推导极小极大下界。
• 提出一种类似硬EM的算法，通过迭代更新聚类分配和估计聚类参数，利用马氏距离整合协方差结构。
• 通过将Lloyd算法中的欧氏距离替换为考虑各向异性协方差矩阵的马氏距离，对Lloyd算法进行改进。
• 在算法的分配步骤中，利用估计协方差矩阵的谱分解来定义马氏度量。
• 采用两阶段程序：首先通过谱松弛进行初始聚类，随后通过协方差感知的EM更新进行优化。
• 证明该算法即使在异质协方差模型下，也能在常数数量的迭代内收敛至最优速率。

实验结果

研究问题

• RQ1 在协方差矩阵未知且不相同的各向异性GMM中，聚类的根本极小极大速率是什么？
• RQ2 各向异性GMM中的信噪比与各向同性情况有何不同？协方差矩阵起到了什么作用？
• RQ3 能否设计一种计算高效的算法，在各向异性GMM设置下达到极小极大最优速率？
• RQ4 为何标准聚类算法如Lloyd算法或谱聚类在各向异性情况下会失效？
• RQ5 在异质协方差模型中，聚类中心与协方差矩阵之间的相互作用如何影响聚类的难度？

主要发现

• 在各向异性GMM下，聚类的极小极大下界形式为 $\exp\left(-(1+o(1))\frac{(\text{SNR})^2}{8}\right)$，其中SNR依赖于聚类中心和协方差矩阵。
• 在同质协方差模型（所有 $\Sigma^*_a = \Sigma^*$）下，SNR为 $\min_{a \neq b} \| (\theta^*_a - \theta^*_b)^T \Sigma^{*-1/2} \|$，反映出马氏距离。
• 在异质模型中，SNR涉及聚类中心差异与协方差矩阵差异之间更复杂的相互作用。
• 所提出的硬EM算法即使在协方差未知且不相等的情况下，也能在常数次迭代内达到极小极大最优速率。
• 该算法是Lloyd算法的一种变体，通过使用估计的协方差矩阵引入马氏距离，使其对各向异性具有鲁棒性。
• 标准方法如Lloyd算法或谱聚类在各向异性设置下表现次优，因为其忽略了协方差结构，导致性能下降。