[论文解读] On the tightness of an SDP relaxation of k-means

Takayuki Iguchi, Dustin G. Mixon+2 more|arXiv (Cornell University)|May 18, 2015

Sparse and Compressive Sensing Techniques参考文献 12被引用 21

一句话总结

该论文证明，在随机球模型中，当聚类中心之间的距离超过2时，k-means聚类问题的SDP松弛在高概率下能精确恢复预设的聚类，且该距离超出2的幅度取决于中心配置的条件数和问题维度。该结果在接近最优的分离条件下证明了SDP松弛的紧致性，超越了先前的界限，并证实了早期工作中提出的猜想。

ABSTRACT

Recently, Awasthi et al. introduced an SDP relaxation of the $k$-means problem in $\mathbb R^m$. In this work, we consider a random model for the data points in which $k$ balls of unit radius are deterministically distributed throughout $\mathbb R^m$, and then in each ball, $n$ points are drawn according to a common rotationally invariant probability distribution. For any fixed ball configuration and probability distribution, we prove that the SDP relaxation of the $k$-means problem exactly recovers these planted clusters with probability $1-e^{-Ω(n)}$ provided the distance between any two of the ball centers is $>2+ε$, where $ε$ is an explicit function of the configuration of the ball centers, and can be arbitrarily small when $m$ is large.

研究动机与目标

• 在随机球模型下，建立k-means问题SDP松弛的精确恢复保证。
• 弥合已知充分分离条件与精确恢复最优阈值Δ > 2之间的差距。
• 提供一种对偶证书构造方法，以确认在接近最优的聚类分离条件下SDP松弛的整数性。
• 分析聚类中心配置的条件数和维度在决定恢复阈值中的作用。

提出的方法

• 作者采用对偶证书方法，验证真实聚类分配在SDP松弛下为最优。
• 他们构造了一个满足最优性KKT条件的对偶矩阵，依赖于高维随机向量的集中不等式。
• 该方法涉及对残差矩阵谱范数的界定，以及对与聚类间和聚类内距离相关的块子矩阵最小特征值的分析。
• 关键技术工具包括旋转对称分布的测度集中性及矩阵扰动界。
• 分析基于随机球模型，其中n个独立同分布的点从R^m中k个固定中心的旋转对称分布中抽取。
• 对所有聚类对应用并集界，以确保在整个配置中实现高概率恢复。

实验结果

研究问题

• RQ1 在何种分离条件下，k-means的SDP松弛能在随机球模型中精确恢复真实聚类？
• RQ2 当聚类中心之间的距离任意接近2时，SDP松弛能否实现精确恢复？
• RQ3 聚类中心配置的条件数如何影响精确恢复所需的分离度？
• RQ4 如先前工作所猜想，在接近最优分离条件下，SDP松弛是否具有紧致性？

主要发现

• 当最小中心间距离Δ > 2 + (k²/m)Cond(γ)时，SDP松弛以概率1 - e^(-Ω(n))精确恢复预设聚类，其中Cond(γ)为各中心对之间平方距离的最大值与最小值之比。
• 随着维度m增加，该边界趋近于Δ > 2，表明在高维设置下可实现接近最优的恢复。
• 该结果证实了文献[3]中的猜想：只要条件数有界，当Δ > 2时即可实现精确恢复。
• 分析表明，所需分离间隙与k²/m及条件数成正比，表明聚类几何显著影响恢复性能。
• 该证明依赖于一种对偶证书，其存在性通过旋转对称点云的高概率测度集中性得以建立。