[论文解读] Recovery guarantees for exemplar-based clustering

Abhinav Nellore, Rachel Ward|arXiv (Cornell University)|Sep 12, 2013

Sparse and Compressive Sensing Techniques参考文献 53被引用 4

一句话总结

本文为基于示例的聚类建立了理论恢复保证，采用k-medoids问题的线性规划（LP）松弛方法。证明了在d ≥ 2维空间中，当点数和簇间分离度足够大时，即使在标准距离阈值法失效的区域，该LP松弛也能以高概率精确恢复真实的k-medoid解，前提是簇呈各向同性球形分布。

ABSTRACT

For a certain class of distributions, we prove that the linear programming relaxation of $k$-medoids clustering---a variant of $k$-means clustering where means are replaced by exemplars from within the dataset---distinguishes points drawn from nonoverlapping balls with high probability once the number of points drawn and the separation distance between any two balls are sufficiently large. Our results hold in the nontrivial regime where the separation distance is small enough that points drawn from different balls may be closer to each other than points drawn from the same ball; in this case, clustering by thresholding pairwise distances between points can fail. We also exhibit numerical evidence of high-probability recovery in a substantially more permissive regime.

研究动机与目标

• 建立理论条件，证明k-medoids聚类的LP松弛能以高概率精确恢复真正的全局最优解。
• 分析在簇间距离小于某些簇内距离的非平凡区域中，恢复性能的表现，此时基于阈值的方法失效。
• 将先前仅限于一维设置的结果推广至更高维欧几里得空间（d ≥ 2），并考虑各向同性簇结构。
• 研究LP松弛在小分离距离和每簇样本量较少情况下的鲁棒性。
• 探讨理论保证与模拟中实际成功表现之间的差距，尤其关注非均匀分布和高维分布的情形。

提出的方法

• 将k-medoids聚类建模为最小化总平方距离至分配中位数的二值整数规划问题。
• 将二值约束松弛为非负性约束，得到可高效求解的线性规划（LinKMed）。
• 在生成模型下分析LP松弛，其中点独立同分布地从k个非重叠的d维各向同性球体中抽取。
• 利用概率论论证和几何集中性，证明LP最优解与整数解以高概率一致。
• 运用KKT条件与对偶性分析，在假设模型下研究解的最优性与唯一性。
• 通过在不同维度d、分离半径R和样本量n下进行数值模拟，评估理论边界之外的恢复性能。

实验结果

研究问题

• RQ1 在何种条件下，k-medoids的LP松弛能以高概率精确恢复真实的k-medoid解？
• RQ2 当簇内距离超过簇间距离时，LP松弛的恢复性能与基于阈值的聚类方法相比如何？
• RQ3 理论恢复保证能否推广至更高维空间（d ≥ 2）以及簇内非均匀分布的情形？
• RQ4 每簇点数和簇间分离度如何影响通过LP松弛实现精确恢复的可能性？
• RQ5 在高维或非各向同性设置下，实际结果在多大程度上超出理论边界？

主要发现

• 当点从k个非重叠的d维球体（d ≥ 2）中抽取时，若点数和球体间分离度足够大，k-medoids的LP松弛能以高概率精确恢复真实k-medoid解。
• 即使在某些不同簇的点比同一簇内的点更接近的非平凡区域中，恢复仍可保证，而此类区域中简单距离阈值法会失效。
• 数值模拟显示，在d=2的均匀分布下，即使R ≈ 2.5且n在数十量级，也能实现高概率恢复，显著优于理论边界所要求的n ≥ 10^6（当R=3.75时）。
• 对于固定的n、R和d，随着簇数k减少，恢复性能提升，表明恢复概率随k增加而下降。
• 随着维度d增加，即使在均匀分布下，成功恢复球体的数量也增加，表明更高维度增强了LP松弛下簇的可分性。
• 理论保证相比实际表现较为保守，尤其在高维或非均匀分布（质量集中于簇中心）的情况下。