[论文解读] The ratio-cut polytope and K-means clustering

Antonio De Rosa, Aida Khajavirad|arXiv (Cornell University)|Jun 26, 2020

Sparse and Compressive Sensing Techniques参考文献 21被引用 5

一句话总结

本文引入了比例切割多面体（ratio-cut polytope），即 K-均值聚类中所有比例切割向量的凸包，并提出了一种新型线性规划（LP）松弛方法。证明了在随机球模型下，当聚类中心之间的分离距离满足 $\Delta > 1 + \sqrt{3}$ 时，该 LP 松弛能以高概率精确恢复嵌入的聚类，显著优于此前 LP 松弛方法所需的 $\Delta > 4$ 的边界。

ABSTRACT

We introduce the ratio-cut polytope defined as the convex hull of ratio-cut vectors corresponding to all partitions of $n$ points in $\mathbb R^m$ into at most $K$ clusters. This polytope is closely related to the convex hull of the feasible region of a number of clustering problems such as K-means clustering and spectral clustering. We study the facial structure of the ratio-cut polytope and derive several types of facet-defining inequalities. We then consider the problem of K-means clustering and introduce a novel linear programming (LP) relaxation for it. Subsequently, we focus on the case of two clusters and derive sufficient conditions under which the proposed LP relaxation recovers the underlying clusters exactly. Namely, we consider the stochastic ball model, a popular generative model for K-means clustering, and we show that if the separation distance between cluster centers satisfies $Δ> 1+\sqrt 3$, then the LP relaxation recovers the planted clusters with high probability. This is a major improvement over the only existing recovery guarantee for an LP relaxation of K-means clustering stating that recovery is possible with high probability if and only if $Δ> 4$. Our numerical experiments indicate that the proposed LP relaxation significantly outperforms a popular semidefinite programming relaxation in recovering the planted clusters.

研究动机与目标

• 研究比例切割多面体的面结构，其定义为 $\mathbb{R}^m$ 中 n 个点所有 K-划分的比例切割向量的凸包。
• 开发一种新的 K-均值聚类线性规划（LP）松弛方法，以改进现有的凸松弛方法。
• 建立一个充分条件，使得所提出的 LP 松弛方法在随机球模型下能精确恢复潜在聚类。
• 通过数值实验表明，新 LP 松弛方法在聚类恢复方面优于一种流行的半定规划（SDP）松弛方法。

提出的方法

• 将比例切割多面体定义为 $\mathbb{R}^m$ 中 n 个点所有 K-划分对应的比例切割向量的凸包，将其与 K-均值聚类和谱聚类问题联系起来。
• 推导出多种类型的面定义不等式，以刻画比例切割多面体的面结构。
• 通过利用比例切割多面体的多面体结构，提出一种新的 K-均值聚类 LP 松弛方法。
• 分析两簇情况，利用对偶证书技术，在随机球模型下推导出精确恢复的充分条件。
• 证明当分离距离 $\Delta > 1 + \sqrt{3}$ 时，精确恢复以高概率发生，优于此前 LP 松弛方法的 $\Delta > 4$ 边界。
• 通过数值实验将所提出的 LP 松弛方法与标准 SDP 松弛方法进行比较，结果表明其在恢复嵌入聚类方面表现更优。

实验结果

研究问题

• RQ1 比例切割多面体的面结构是什么？能否通过面定义不等式对其进行刻画？
• RQ2 能否基于比例切割多面体构造一种新的 K-均值聚类 LP 松弛方法？其理论保证是否强于现有松弛方法？
• RQ3 在随机球模型下，所提出的 LP 松弛方法在何种条件下能精确恢复嵌入的聚类？
• RQ4 所提出的 LP 松弛方法的恢复阈值 $\Delta$ 与现有 LP 和 SDP 松弛方法相比如何？
• RQ5 在聚类恢复的数值实验中，所提出的 LP 松弛方法是否优于标准的半定规划松弛方法？

主要发现

• 所提出的 K-均值聚类 LP 松弛方法在聚类中心间分离距离满足 $\Delta > 1 + \sqrt{3}$ 时，能以高概率实现对嵌入聚类的精确恢复。
• 该恢复阈值显著优于此前唯一已知的 LP 松弛保证，后者要求 $\Delta > 4$ 才能实现精确恢复。
• 论文通过在合成数据上的实验表明，新 LP 松弛方法优于一种著名的半定规划松弛方法。
• 作者推导出一类丰富的面定义不等式，为比例切割多面体的多面体结构提供了更深入的理解。
• 理论分析基于对偶证书的构造，并依赖于几何与三角恒等式论证，以在对称配置下对目标函数进行有界。
• 结果表明，LP 松弛方法在聚类任务中可实现强大的恢复保证，挑战了 SDP 松弛方法在此领域的主导地位。