[论文解读] Recovery of a mixture of Gaussians by sum-of-norms clustering

Tao Jiang, Stephen A. Vavasis+1 more|arXiv (Cornell University)|Feb 19, 2019

Sparse and Compressive Sensing Techniques参考文献 8被引用 5

一句话总结

本文证明了在样本数量趋于无穷时，和范数聚类仍能精确恢复高斯混合模型，克服了先前工作中依赖样本量的分离条件限制。通过利用Chiquet等人提出的聚类表征定理，作者证明了当使用相等权重时，聚类在固定、与维度和权重相关的分离阈值下保持可分性，且该阈值与样本量无关。

ABSTRACT

Sum-of-norms clustering is a method for assigning $n$ points in $\mathbb{R}^d$ to $K$ clusters, $1\le K\le n$, using convex optimization. Recently, Panahi et al.\ proved that sum-of-norms clustering is guaranteed to recover a mixture of Gaussians under the restriction that the number of samples is not too large. The purpose of this note is to lift this restriction, i.e., show that sum-of-norms clustering with equal weights can recover a mixture of Gaussians even as the number of samples tends to infinity. Our proof relies on an interesting characterization of clusters computed by sum-of-norms clustering that was developed inside a proof of the agglomeration conjecture by Chiquet et al. Because we believe this theorem has independent interest, we restate and reprove the Chiquet et al.\ result herein.

研究动机与目标

• 消除先前关于和范数聚类恢复高斯混合模型的保证中对样本量依赖的分离要求。
• 证明即使当样本数 n → ∞ 时，精确聚类恢复依然可能。
• 建立仅依赖于分量数 K、维度 d、最小权重 w_min 和最大标准差 σ_max 的恢复条件。
• 重新表述并重新证明 Chiquet 等人提出的关键聚类表征定理，以增强清晰度和独立实用性。

提出的方法

• 采用和范数聚类公式：最小化 (1/2)Σ||x_i - a_i||² + λΣ||x_i - x_j||，其中 x_i ∈ ℝ^d。
• 应用聚类表征定理（定理 1），该定理将聚类成员关系与几何分离性及次梯度条件联系起来。
• 使用 Chernoff 不等式证明：以高概率，每个高斯分量中至少有一个样本落在满足聚类分离次梯度条件的区域内。
• 利用最优性条件上的三角不等式，推导出 ||x_i* - x_j*|| 的下界，确保当均值分离超过阈值时聚类可区分。
• 推导出聚类恢复的充分条件：||μ_m - μ_m'|| > 16dσ_max / (c_d w_min)，其中 c_d 随 d 增大而趋近于 1。
• 依赖球面对称高斯分布的对称性与尾部界限，证明在每个均值附近存在有利的样本点。

实验结果

研究问题

• RQ1 当样本数 n 趋于无穷时，和范数聚类能否精确恢复高斯混合模型？
• RQ2 是否可能在现有恢复定理中消除均值分离条件对 n 的依赖？
• RQ3 在样本量趋于无穷的极限下，何种几何与概率条件可确保聚类保持可分？
• RQ4 如何将 Chiquet 等人提出的聚类表征定理应用于渐近情形下的恢复证明？

主要发现

• 本文证明了在 n → ∞ 的极限下，使用相等权重的和范数聚类可精确恢复高斯混合模型，且恢复条件为与 n 无关的固定分离阈值。
• 分量均值间所需分离距离为 ||μ_m - μ_m'|| > 16dσ_max / (c_d w_min)，其中 c_d 随 d 增大而指数快速趋近于 1。
• 该条件消除了 Panahi 等人结果中出现的 polylog(n) 和 K 相关因子，因此在大样本情形下更具优势。
• 以高概率（指数趋近于 1），每个高斯分量中至少有一个样本落在支持通过次梯度分析实现聚类分离的区域内。
• 该证明依赖于聚类表征定理，该定理使聚类相互解耦，从而可独立分析每个分量的行为。
• 该结果在假设权重相等且分布为球面对称高斯分布的前提下成立，且该方法可推广至其他具有类似对称性与集中性质的分布。