[论文解读] Scalable Kernel Clustering: Approximate Kernel k-means

Radha Chitta, Rong Jin+2 more|arXiv (Cornell University)|Feb 16, 2014

Face and Expression Recognition参考文献 47被引用 18

一句话总结

本文提出近似核k均值（aKKm），一种可扩展的核聚类算法，通过随机采样来近似核矩阵，并将聚类中心限制在由少量采样点张成的低维子空间中。该方法在显著降低时间和内存开销的同时，实现了与完整核k均值相当的聚类性能，并通过集成聚类技术进一步提升了准确性。

ABSTRACT

Kernel-based clustering algorithms have the ability to capture the non-linear structure in real world data. Among various kernel-based clustering algorithms, kernel k-means has gained popularity due to its simple iterative nature and ease of implementation. However, its run-time complexity and memory footprint increase quadratically in terms of the size of the data set, and hence, large data sets cannot be clustered efficiently. In this paper, we propose an approximation scheme based on randomization, called the Approximate Kernel k-means. We approximate the cluster centers using the kernel similarity between a few sampled points and all the points in the data set. We show that the proposed method achieves better clustering performance than the traditional low rank kernel approximation based clustering schemes. We also demonstrate that its running time and memory requirements are significantly lower than those of kernel k-means, with only a small reduction in the clustering quality on several public domain large data sets. We then employ ensemble clustering techniques to further enhance the performance of our algorithm.

研究动机与目标

• 为解决大规模数据集上核k均值的二次时间与内存复杂度问题，实现可扩展的基于核的聚类。
• 开发一种高效的近似方案，在避免计算完整n×n核矩阵的同时保持聚类质量。
• 通过在Nystrom框架中创新性地使用特征向量，改进现有低秩核近似方法的性能。
• 通过将集成聚类技术与近似核方法结合，进一步提升聚类准确性。
• 提供比朴素Nystrom方法更紧致的核近似误差理论界。

提出的方法

• 该方法随机采样m ≪ n个数据点，并利用它们与所有点的核相似性构建n×m核矩阵，从而减少存储与计算开销。
• 聚类中心在由m个采样点张成的子空间内进行近似，避免了完整核矩阵的计算。
• 该算法利用近似核矩阵的所有特征向量，而无需显式计算，从而在准确性上优于谱聚类的变体。
• 通过分析核矩阵的相干性与采样分布，获得更紧致的核近似误差理论界。
• 通过运行多个使用不同随机采样的实例，并利用元聚类组合结果，应用集成聚类以提升鲁棒性与性能。
• 该方法基于Nystrom近似框架，其理论保证源自矩阵集中与谱近似理论。

实验结果

研究问题

• RQ1 能否设计一种核k均值变体，使其在不计算完整核矩阵的前提下高效扩展至大规模数据集？
• RQ2 所提出的近似方案在聚类准确性上与传统低秩核近似方法相比如何？
• RQ3 能否在朴素Nystrom方法的基础上改进核近似误差的理论界？
• RQ4 将集成聚类技术整合到近似核k均值算法中是否能进一步提升性能？
• RQ5 与核k均值及其他可扩展替代方案相比，该方法在计算效率与聚类质量之间的权衡如何？

主要发现

• 所提出的aKKm算法在多个公开的大规模数据集上实现了与完整核k均值相当的聚类性能，仅带来微小的准确率下降。
• 该方法将计算复杂度与内存使用从O(n²)降低至O(nm)，其中m ≪ n，从而在大规模数据集上实现了显著加速。
• 理论分析表明，核近似误差界比朴素Nystrom方法更紧致，尤其当核矩阵具有低相干性时。
• 实验结果表明，aKKm在聚类准确性方面优于其他可扩展核聚类方法，包括基于Nystrom的谱聚类。
• 集成聚类技术的引入进一步提升了aKKm的鲁棒性与性能，尤其在噪声较大或结构复杂的聚类中表现更优。
• 该算法能有效扩展至包含数万个点的数据集，在保持高效性的同时完整保留非线性聚类结构。