[论文解读] Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds

Shusen Wang, Alex Gittens+1 more|arXiv (Cornell University)|Jun 9, 2017

Sparse and Compressive Sensing Techniques参考文献 86被引用 13

一句话总结

本文提出了一种基于Nyström近似的可扩展核k-means聚类方法，并提供了理论相对误差界。结果表明，使用秩受限的Nyström近似并选取$\frac{k}{\epsilon}(1+o(1))$个特征点，可实现对最优核k-means目标函数的$1+\epsilon$近似比，从而在大规模数据集（如MNIST8M）上实现高效且理论可靠的非线性聚类。

ABSTRACT

Kernel $k$-means clustering can correctly identify and extract a far more varied collection of cluster structures than the linear $k$-means clustering algorithm. However, kernel $k$-means clustering is computationally expensive when the non-linear feature map is high-dimensional and there are many input points. Kernel approximation, e.g., the Nyström method, has been applied in previous works to approximately solve kernel learning problems when both of the above conditions are present. This work analyzes the application of this paradigm to kernel $k$-means clustering, and shows that applying the linear $k$-means clustering algorithm to $\frac{k}ε (1 + o(1))$ features constructed using a so-called rank-restricted Nyström approximation results in cluster assignments that satisfy a $1 + ε$ approximation ratio in terms of the kernel $k$-means cost function, relative to the guarantee provided by the same algorithm without the use of the Nyström method. As part of the analysis, this work establishes a novel $1 + ε$ relative-error trace norm guarantee for low-rank approximation using the rank-restricted Nyström approximation. Empirical evaluations on the $8.1$ million instance MNIST8M dataset demonstrate the scalability and usefulness of kernel $k$-means clustering with Nyström approximation. This work argues that spectral clustering using Nyström approximation---a popular and computationally efficient, but theoretically unsound approach to non-linear clustering---should be replaced with the efficient and theoretically sound combination of kernel $k$-means clustering with Nyström approximation. The superior performance of the latter approach is empirically verified.

研究动机与目标

• 开发一种适用于大规模数据集（具有高维非线性特征映射）的可扩展且理论基础坚实的核k-means聚类方法。
• 建立在使用Nyström近似降低计算成本时，核k-means聚类的相对误差保证。
• 用更具原则性的核k-means + Nyström框架替代现有虽有效但理论不成立的谱聚类 + Nyström方法。
• 在大规模数据集（如MNIST8M）上展示该方法的可扩展性与经验优越性。

提出的方法

• 该方法应用Nyström近似，通过$\frac{k}{\epsilon}(1+o(1))$个代表性点构建核矩阵的低秩近似。
• 采用秩受限的Nyström近似，以确保核矩阵低秩近似的迹范数具有$1+\epsilon$的相对误差保证。
• 随后对由Nyström近似导出的$\frac{k}{\epsilon}(1+o(1))$维特征向量执行线性k-means聚类。
• 理论分析表明，所得聚类分配可实现与最优核k-means目标函数的$1+\epsilon$近似比。
• 该框架利用核技巧，避免显式计算高维非线性特征，从而保持计算效率。
• 理论界通过在近似质量满足特定假设下的投影代价保持性与迹范数近似保证推导得出。

实验结果

研究问题

• RQ1 Nyström近似能否在保持理论近似保证的前提下，用于扩展核k-means聚类？
• RQ2 为实现核k-means聚类中$1+\epsilon$的近似比，所需代表性点的最小数量是多少？
• RQ3 所提出的核k-means + Nyström方法与谱聚类 + Nyström相比，在理论严谨性与经验性能方面有何差异？
• RQ4 该方法是否能在显著降低计算成本的同时，保持在大规模数据集（如MNIST8M）上的高精度？

主要发现

• 当使用秩受限Nyström近似得到的$\frac{k}{\epsilon}(1+o(1))$个特征时，所提方法可实现与最优核k-means目标函数的$1+\epsilon$近似比。
• 首次为使用秩受限Nyström方法的低秩近似建立了$1+\epsilon$的相对误差迹范数保证。
• 在包含810万个点的MNIST8M数据集上的实证评估证实了该方法的可扩展性及相对于谱聚类 + Nyström的优越性能。
• 该方法为谱聚类 + Nyström提供了一个理论更可靠的替代方案，后者虽广受欢迎但缺乏理论依据。
• 理论分析表明，在核矩阵满足温和假设的前提下，Nyström近似可将聚类目标函数保持在$1+\epsilon$倍以内。
• 在非球形聚类结构下，该方法在聚类准确率与理论可靠性方面均优于谱聚类 + Nyström。