[论文解读] Outlier-Robust Clustering of Non-Spherical Mixtures

Ainesh Bakshi, Pravesh K. Kothari|arXiv (Cornell University)|May 6, 2020

Bayesian Methods and Mixture Models参考文献 30被引用 16

一句话总结

本文提出了首个在总变差（TV）分离条件下，针对 $k$-维高斯混合模型的高效、抗异常值的聚类算法，该条件是统计上最弱的分离条件。通过利用可验证的超收缩性与低次多项式的反集中性，该算法在 $d^{ olimits\operatorname{poly}(k/\eta)}$ 时间内实现聚类，且误分类误差为 $k^{O(k)}(\varepsilon + \eta)$，即使各分量均值相同但协方差沿未知方向不同时亦成立。

ABSTRACT

We give the first outlier-robust efficient algorithm for clustering a mixture of $k$ statistically separated d-dimensional Gaussians (k-GMMs). Concretely, our algorithm takes input an $ε$-corrupted sample from a $k$-GMM and whp in $d^{ ext{poly}(k/η)}$ time, outputs an approximate clustering that misclassifies at most $k^{O(k)}(ε+η)$ fraction of the points whenever every pair of mixture components are separated by $1-\exp(- ext{poly}(k/η)^k)$ in total variation (TV) distance. Such a result was not previously known even for $k=2$. TV separation is the statistically weakest possible notion of separation and captures important special cases such as mixed linear regression and subspace clustering. Our main conceptual contribution is to distill simple analytic properties - (certifiable) hypercontractivity and bounded variance of degree 2 polynomials and anti-concentration of linear projections - that are necessary and sufficient for mixture models to be (efficiently) clusterable. As a consequence, our results extend to clustering mixtures of arbitrary affine transforms of the uniform distribution on the $d$-dimensional unit sphere. Even the information-theoretic clusterability of separated distributions satisfying these two analytic assumptions was not known prior to our work and is likely to be of independent interest. Our algorithms build on the recent sequence of works relying on certifiable anti-concentration first introduced in the works of Karmarkar, Klivans, and Kothari and Raghavendra, and Yau in 2019. Our techniques expand the sum-of-squares toolkit to show robust certifiability of TV-separated Gaussian clusters in data. This involves giving a low-degree sum-of-squares proof of statements that relate parameter (i.e. mean and covariances) distance to total variation distance by relying only on hypercontractivity and anti-concentration.

研究动机与目标

• 开发一种高效、抗异常值的聚类算法，用于在仅以总变差（TV）距离分离的 $k$-高斯混合模型（$k$-Gaussian mixtures）上进行聚类，这是最弱的统计分离概念。
• 识别并形式化分析条件——可验证的超收缩性与反集中性——这些条件对 $k$-GMM 的高效聚类而言既是必要也是充分的。
• 将矩量平方（SoS）框架扩展，通过低次 SoS 证明参数距离与 TV 距离不等式，以证明 TV 分离的高斯聚类具有鲁棒可证性。
• 证明该算法不仅适用于高斯分布，也适用于 $d$-维单位球面上均匀分布的任意仿射变换混合。
• 解决满足这些分析条件的分布的信息论可聚类性，此前该问题尚不明确。

提出的方法

• 该算法使用矩量平方（SoS）方法，构建关于参数距离（均值与协方差）与总变差距离之间关系的低次多项式不等式证明。
• 其依赖于线性投影的可验证反集中性与二次多项式超收缩性的可验证性，以确保对对抗性异常值的鲁棒性。
• 该方法证明了低次 SoS 版本的矩阵不等式 $\|AB\|_F^2 \leq \|A\|_{op}^2 \|B\|_F^2$，存在常数因子损失，利用高斯超收缩性。
• SoS 框架中的抵消引理允许简化涉及不定元幂次的不等式，从而在约束条件下实现鲁棒推理。
• 该算法递归应用部分聚类以处理异常值，实现 $d^{\operatorname{poly}(k/\eta)}$ 时间内的高效运行时间。
• 其将鲁棒协方差估计（Frobenius 范数距离下）作为子程序，对处理非球形分量至关重要。

实验结果

研究问题

• RQ1 能否为仅以总变差距离分离的 $k$-高斯混合模型设计一种高效且抗异常值的聚类算法？
• RQ2 在存在对抗性异常值的情况下，哪些分析性质对 $k$-GMM 的高效聚类而言既是必要也是充分的？
• RQ3 能否将矩量平方（SoS）框架扩展，仅通过二次多项式集中与反集中性，证明 TV 分离聚类的鲁棒可证性？
• RQ4 满足可验证超收缩性与反集中性的分布的信息论可聚类性是否成立？能否在算法上实现？
• RQ5 该算法能否推广至高斯之外的分布，例如 $d$-维球面上均匀分布的任意仿射变换混合？

主要发现

• 该算法在 $d^{\operatorname{poly}(k/\eta)}$ 时间内实现 $k$-GMM 的聚类，且误分类误差不超过 $k^{O(k)}(\varepsilon + \eta)$，在 TV 分离条件下成立。
• TV 分离是目前已知最弱的聚类在信息论上可能成立的分离条件，且该算法即使在各分量均值相同但协方差沿未知方向不同时仍能有效运行。
• 本文证明了二次多项式的可验证超收缩性与反集中性，对 $k$-GMM 的高效聚类而言，既是必要也是充分条件。
• 结果可推广至 $d$-维单位球面上均匀分布的任意仿射变换混合，超越高斯分布的限制。
• 本工作首次提供了仅依赖于二阶矩与反集中性性质的低次矩量平方证明，用于连接参数距离与总变差距离的不等式。
• 该算法对 $\varepsilon$ 分数的完全对抗性异常值具有鲁棒性，且当 $k$ 固定时，运行时间在 $d$ 上为多项式时间，即使 $k=2$ 时亦成立。