[论文解读] Robustly Clustering a Mixture of Gaussians

Jia He, Santosh Vempala|arXiv (Cornell University)|Nov 26, 2019

Bayesian Methods and Mixture Models参考文献 27被引用 4

一句话总结

本文提出了一种高效算法，在最小分离假设下稳健地聚类两分量高斯混合模型——无论是均值分离还是协方差分离——基于各向同性位置和Fisher判别分析的新型可识别性准则，结合固定次数的Sum-of-Squares凸松弛方法。该方法实现了接近最优的分离要求，并可扩展至强对数凹分布，总变差距离分离也足以实现聚类。

ABSTRACT

We give an efficient algorithm for robustly clustering of a mixture of two arbitrary Gaussians, a central open problem in the theory of computationally efficient robust estimation, assuming only that the the means of the component Gaussians are well-separated or their covariances are well-separated. Our algorithm and analysis extend naturally to robustly clustering mixtures of well-separated strongly logconcave distributions. The mean separation required is close to the smallest possible to guarantee that most of the measure of each component can be separated by some hyperplane (for covariances, it is the same condition in the second degree polynomial kernel). We also show that for Gaussian mixtures, separation in total variation distance suffices to achieve robust clustering. Our main tools are a new identifiability criterion based on isotropic position and the Fisher discriminant, and a corresponding Sum-of-Squares convex programming relaxation, of fixed degree.

研究动机与目标

• 解决鲁棒估计中的核心开放问题：在计算上可行的假设下，高效聚类两分量高斯混合模型。
• 识别仍能实现可靠聚类的最小组件间分离条件，逼近信息论极限。
• 将聚类框架从高斯分布扩展至分离良好的强对数凹分布。
• 基于凸优化方法，利用固定次数的Sum-of-Squares松弛，开发具有可证明保证的聚类算法。

提出的方法

• 提出一种基于将数据变换至各向同性位置并应用Fisher判别分析以分离组件的新可识别性准则。
• 使用固定次数的Sum-of-Squares（SOS）凸规划松弛方法，高效求解聚类问题。
• 证明：若基于超平面的分离在均值或协方差分离下成立，则可实现鲁棒聚类。
• 应用二次多项式核以表征协方差分离条件。
• 证明：在高斯情况下，组件间的总变差距离足以保证鲁棒聚类。
• 利用强对数凹分布的性质，将方法扩展至高斯分布之外。

实验结果

研究问题

• RQ1 在何种最小分离条件下，仍可实现对两个高斯分布的高效且稳健聚类？
• RQ2 在各向同性位置下的Fisher判别分析能否作为高斯混合模型的鲁棒可识别性准则？
• RQ3 该算法在多大程度上可推广至强对数凹分布的混合模型？
• RQ4 在高斯混合模型中，组件间的总变差距离是否足以保证鲁棒聚类？
• RQ5 在最小分离条件下，固定次数的Sum-of-Squares松弛能否实现可证明的聚类性能？

主要发现

• 该算法在接近信息论最小值的均值或协方差分离条件下，实现了鲁棒聚类。
• 基于各向同性位置与Fisher判别分析的可识别性准则，即使在组件分离程度极小时也能实现有效分离。
• 该方法可自然推广至分离良好的强对数凹分布混合模型。
• 高斯分量间的总变差距离足以保证鲁棒聚类。
• 固定次数的Sum-of-Squares松弛为聚类问题提供了计算高效且可证明正确的解决方案。
• 协方差分离条件与二次多项式核下的条件等价，建立了几何视角与核方法视角之间的联系。