[论文解读] Robustly Learning any Clusterable Mixture of Gaussians

Ilias Diakonikolas, Samuel B. Hopkins+2 more|arXiv (Cornell University)|May 13, 2020

Machine Learning and Algorithms参考文献 36被引用 15

一句话总结

该论文提出了首个在对抗性污染下鲁棒学习任意可聚类高斯混合的多项式时间算法，在总变差距离下实现了近似最优的误差 $\tilde{O}(\varepsilon)$。它利用基于平方和（SoS）的可识别性证明，结合反浓度性质与参数距离表征，确保即使在分量均值相同或协方差任意的情况下，只要其成对重叠被多项式有界于 $\varepsilon$，也能实现鲁棒聚类。其核心贡献是在最弱的分离条件下，构建了一个可证明高效且鲁棒的学习框架，以实现准确聚类。

ABSTRACT

We study the efficient learnability of high-dimensional Gaussian mixtures in the outlier-robust setting, where a small constant fraction of the data is adversarially corrupted. We resolve the polynomial learnability of this problem when the components are pairwise separated in total variation distance. Specifically, we provide an algorithm that, for any constant number of components $k$, runs in polynomial time and learns the components of an $ε$-corrupted $k$-mixture within information theoretically near-optimal error of $ ilde{O}(ε)$, under the assumption that the overlap between any pair of components $P_i, P_j$ (i.e., the quantity $1-TV(P_i, P_j)$) is bounded by $\mathrm{poly}(ε)$. Our separation condition is the qualitatively weakest assumption under which accurate clustering of the samples is possible. In particular, it allows for components with arbitrary covariances and for components with identical means, as long as their covariances differ sufficiently. Ours is the first polynomial time algorithm for this problem, even for $k=2$. Our algorithm follows the Sum-of-Squares based proofs to algorithms approach. Our main technical contribution is a new robust identifiability proof of clusters from a Gaussian mixture, which can be captured by the constant-degree Sum of Squares proof system. The key ingredients of this proof are a novel use of SoS-certifiable anti-concentration and a new characterization of pairs of Gaussians with small (dimension-independent) overlap in terms of their parameter distance.

研究动机与目标

• 解决在对抗性污染下高维高斯混合的多项式可学习性问题，其中高达常数比例的数据被污染。
• 确定在何种最弱的分离条件下，准确聚类在信息论上仍可行，定义为成对总变差重叠被 $\mathrm{poly}(\varepsilon)$ 有界。
• 开发一种鲁棒且高效的算法，用于学习具有任意协方差和相同均值的 $k$-分量高斯混合，前提是其参数距离可确保小重叠。
• 提供一种基于平方和（SoS）框架的新鲁棒可识别性证明，以捕捉污染下高斯混合的结构。
• 即使在 $k=2$ 的情况下，也实现真实与估计分量之间总变差距离的近似最优误差 $\tilde{O}(\varepsilon)$。

提出的方法

• 该算法使用平方和（SoS）证明系统来建立聚类的鲁棒可识别性，通过证明即使在对抗性污染下，聚类仍可被区分。
• 创新性地使用 SoS 可证的反浓度性质，以在各分量不同的区域下限概率质量，从而实现鲁棒分离。
• 提出一种新表征：当两个高斯分布的重叠很小（与维度无关）时，其参数距离可被表征，从而在最小分离条件下实现鲁棒聚类。
• 将鲁棒聚类与去污染步骤相结合，利用伪聚类方差界将干净样本与污染样本分离。
• 采用基于锦标赛的选择程序，从多个候选聚类中选出最优假设，确保误差界按 $O(\varepsilon \log(1/\varepsilon))$ 缩放。
• 最后，通过在重新聚类的样本上进行鲁棒估计，以精炼分量参数，实现 $\tilde{O}(\varepsilon)$ 的总变差误差。

实验结果

研究问题

• RQ1 是否存在一个多项式时间算法，可在对抗性污染下学习任意可聚类的高斯混合，即使分量具有相同均值或任意协方差？
• RQ2 在何种最弱的分离条件下，高斯混合分量的准确聚类在信息论上仍可行？
• RQ3 平方和框架是否可用于证明在污染下高斯混合分量的鲁棒可识别性，即使标准矩方法失效？
• RQ4 是否可能在 $\varepsilon$-污染下实现近似最优的 $\tilde{O}(\varepsilon)$ 总变差误差，即使 $k=2$？
• RQ5 是否可在 SoS 框架中利用反浓度性质，以证明高维混合中鲁棒聚类的可识别性？

主要发现

• 该论文首次提出在 $\varepsilon$-污染下鲁棒学习 $k$-高斯混合的多项式时间算法，即使 $k=2$，且在最弱可能的分离条件下实现。
• 该算法在真实与估计分量之间实现了 $\tilde{O}(\varepsilon)$ 的总变差误差，该误差在信息论上接近最优。
• 分离条件由成对重叠 $1 - \mathrm{TV}(P_i, P_j) \leq \mathrm{poly}(\varepsilon)$ 定义，允许均值相同，只要协方差足够不同。
• 关键技术突破在于提出一种新的 SoS 可证反浓度论证，实现鲁棒可识别性，且无需依赖矩界。
• 该方法成功处理了任意协方差和非均匀混合权重，最终估计步骤的误差按 $O(\varepsilon \log(1/\varepsilon))$ 缩放。
• 该框架具有可扩展性，适用于非均匀混合，并包含一种鲁棒的假设选择程序，确保以高概率收敛到正确聚类。