[论文解读] Unified Spectral Clustering with Optimal Graph

Zhao Kang, Chong Peng+2 more|arXiv (Cornell University)|Nov 12, 2017

Face and Expression Recognition参考文献 14被引用 3

一句话总结

本文提出了一种统一的谱聚类框架，通过在单一优化过程中联合学习最优相似性图和离散聚类标签，避免了传统三步法的缺陷。通过整合相似性学习、连续标签松弛和离散标签优化——并结合多核学习——该方法在多种数据集上实现了卓越的聚类性能，在准确率、NMI 和纯度方面优于最先进方法。

ABSTRACT

Spectral clustering has found extensive use in many areas. Most traditional spectral clustering algorithms work in three separate steps: similarity graph construction; continuous labels learning; discretizing the learned labels by k-means clustering. Such common practice has two potential flaws, which may lead to severe information loss and performance degradation. First, predefined similarity graph might not be optimal for subsequent clustering. It is well-accepted that similarity graph highly affects the clustering results. To this end, we propose to automatically learn similarity information from data and simultaneously consider the constraint that the similarity matrix has exact c connected components if there are c clusters. Second, the discrete solution may deviate from the spectral solution since k-means method is well-known as sensitive to the initialization of cluster centers. In this work, we transform the candidate solution into a new one that better approximates the discrete one. Finally, those three subtasks are integrated into a unified framework, with each subtask iteratively boosted by using the results of the others towards an overall optimal solution. It is known that the performance of a kernel method is largely determined by the choice of kernels. To tackle this practical problem of how to select the most suitable kernel for a particular data set, we further extend our model to incorporate multiple kernel learning ability. Extensive experiments demonstrate the superiority of our proposed method as compared to existing clustering approaches.

研究动机与目标

• 解决传统谱聚类中预定义的次优相似性图导致的性能下降问题。
• 克服k-means在将连续谱标签离散化过程中引入的敏感性与近似误差问题。
• 将谱聚类的三个阶段——相似性图构建、连续标签学习与离散标签分配——统一为单一优化框架。
• 开发一种多核学习扩展，自适应选择最优核组合，以应对复杂高维数据。
• 提供一种端到端的稳健解决方案，通过相互增强机制，迭代优化相似性图、连续标签与离散聚类分配。

提出的方法

• 提出一种统一的优化框架，将相似性图、连续聚类指示变量与离散聚类标签联合学习于单一目标函数中。
• 采用核空间映射实现灵活且数据自适应的相似性学习，替代欧氏距离或k-NN等固定度量。
• 引入约束条件，确保学习到的相似性矩阵恰好包含c个连通分量（对应c个聚类），以保证结构一致性。
• 应用重分配策略，将连续谱解转换为更逼近真实离散解的标签，降低与真实解的偏差。
• 采用迭代交替优化策略，每次更新一个组件（图、连续标签、离散标签）时，利用其他组件的当前状态。
• 通过学习最优核权重，将单核模型扩展为多核学习，增强对异质性与高维数据的适应能力。

实验结果

研究问题

• RQ1 统一优化框架能否联合学习最优相似性图与离散聚类标签，从而优于传统的三步谱聚类流水线？
• RQ2 相似性图与离散标签的端到端学习如何减少信息损失，相较于传统方法？
• RQ3 所提方法在基准数据集上相较于现有单核与多核聚类方法，性能提升程度如何？
• RQ4 所提方法对超参数的敏感性如何？其在不同数据类型与噪声水平下是否保持鲁棒性能？
• RQ5 在统一框架中引入多核学习是否能进一步提升复杂高维数据上的聚类性能？

主要发现

• 所提方法在九个基准数据集上均实现了更高的准确率、NMI与纯度，持续优于最先进方法。
• 尽管传统三步法的最佳结果有时接近，但所提方法的平均性能显著更高。
• 该方法对参数选择具有高度鲁棒性，在α、β与γ的广泛取值范围内性能下降极小，表明其具有强稳定性。
• 多核扩展（SCMK）在所有实验中均持续优于单核版本，证明了自适应核组合的价值。
• 基于随机森林的亲和度方法（ClustRF-a）在图像数据上表现良好，但在文本数据上失效，凸显了此类方法相较于所提统一框架的局限性。
• 该方法仅需一次运行即可达到最先进性能，而k-means-based方法需多次重启才能获得最佳结果。