[论文解读] Provably noise-robust, regularised $k$-means clustering

Shrinu Kushagra, Yaoliang Yu+1 more|arXiv (Cornell University)|Nov 30, 2017

Sparse and Compressive Sensing Techniques参考文献 2被引用 3

一句话总结

本文提出了一种正则化 $k$-means 聚类框架，通过引入一个专用的“噪声”聚类，增强了对噪声的鲁棒性，证明在高噪声水平下仍能恢复真实聚类。其理论分离边界更紧（$ \delta > 2 + \epsilon$），优于先前工作，并在 MNIST 上表现出优于 $k$-means++ 的性能。

ABSTRACT

We consider the problem of clustering in the presence of noise. That is, when on top of cluster structure, the data also contains a subset of \emph{unstructured} points. Our goal is to detect the clusters despite the presence of many unstructured points. Any algorithm that achieves this goal is noise-robust. We consider a regularisation method which converts any center-based clustering objective into a noise-robust one. We focus on the $k$-means objective and we prove that the regularised version of $k$-means is NP-Hard even for $k=1$. We consider two algorithms based on the convex (sdp and lp) relaxation of the regularised objective and prove robustness guarantees for both. The sdp and lp relaxation of the standard (non-regularised) $k$-means objective has been previously studied by [ABC+15]. Under the stochastic ball model of the data they show that the sdp-based algorithm recovers the underlying structure as long as the balls are separated by $δ> 2\sqrt{2} + ε$. We improve upon this result in two ways. First, we show recovery even for $δ> 2 + ε$. Second, our regularised algorithm recovers the balls even in the presence of noise so long as the number of noisy points is not too large. We complement our theoretical analysis with simulations and analyse the effect of various parameters like regularization constant, noise-level etc. on the performance of our algorithm. In the presence of noise, our algorithm performs better than $k$-means++ on MNIST.

研究动机与目标

• 解决未结构化噪声点干扰底层聚类结构时的聚类挑战。
• 提出一种通用的正则化框架，通过引入额外的“噪声”聚类，将任意基于中心的聚类目标转化为噪声鲁棒的变体。
• 在随机和分布无关模型下，为正则化 $k$-means 目标的 SDP 和 LP 松弛证明理论鲁棒性保证。
• 与先前工作相比，展示更优的聚类恢复分离阈值，尤其在噪声环境中。
• 在 MNIST 上实证验证该方法，表明在噪声条件下性能优于 $k$-means++。

提出的方法

• 引入正则化惩罚 $\lambda$，允许点被分配至专用的噪声聚类，通过惩罚此类分配以抑制过度使用。
• 将正则化 $k$-means 目标表述为混合整数规划问题，并利用半定规划（SDP）和线性规划（LP）松弛进行求解。
• 采用对偶证书技术，在聚类分离和噪声分布满足特定几何与分布假设的条件下，证明精确恢复保证。
• 建立 $\delta$、$\nu$、$m$ 和 $\lambda$ 的条件，使得 SDP 和 LP 松弛能恢复真实聚类结构。
• 利用随机矩阵理论（例如 [Ver10] 中的定理 16）界定数据矩阵的奇异值，支持概率恢复分析。
• 设计 $\lambda$ 的参数选择策略，基于聚类大小和分离度，确保对偶可行性条件成立。

实验结果

研究问题

• RQ1 正则化 $k$-means 公式能否在保持理论保证的同时实现可证明的噪声鲁棒性？
• RQ2 在使用 SDP 和 LP 松弛时，为实现精确恢复，聚类中心之间的最小分离 $\delta$ 是多少？
• RQ3 噪声点数量 $m$ 及其与真实聚类的距离 $\nu$ 如何影响恢复性能？
• RQ4 能否通过凸松弛方法高效求解正则化 $k$-means 目标，并保证理论性能？
• RQ5 正则化参数 $\lambda$ 的选择如何影响噪声剔除与聚类恢复之间的权衡？

主要发现

• 即使对于 $k=1$，正则化 $k$-means 目标优化也是 NP-难的，确立了该问题的计算困难性。
• 在随机球模型中，SDP 松弛的精确恢复保证为 $\delta > 2(1 + \sqrt{k/d})$，优于先前的 $\delta > 2\sqrt{2} + \epsilon$ 边界。
• 在噪声环境中，当 $\delta > 2(1 + \sqrt{\sigma + k/d})$ 时，基于 SDP 的算法可恢复真实聚类，其中 $\sigma$ 取决于噪声点与最小聚类的比值。
• 对于 LP 松弛，当 $\delta > 4$ 且噪声点足够远离聚类（$\nu > \delta - 2$）时，可保证恢复，且噪声点数量满足 $m \leq N(\nu^2/(\delta-2)^2 - 1)$。
• 理论分析表明，当 $\lambda$ 落于依赖于聚类大小和分离度的特定范围内时，可满足对偶证书条件。
• 在 MNIST 上的实证结果表明，正则化 $k$-means 算法在噪声存在时优于 $k$-means++，证实了其实际优势。