[论文解读] Twin Learning for Similarity and Clustering: A Unified Kernel Approach

Zhao Kang, Chong Peng+1 more|arXiv (Cornell University)|May 1, 2017

Face and Expression Recognition被引用 20

一句话总结

该论文提出了一种统一的基于核的框架，通过孪生学习联合学习相似性矩阵、聚类指示矩阵和最优核组合，通过迭代地利用彼此提升各组件，显著提升了在真实世界数据集上的聚类性能，在包括人脸和数字识别数据集在内的多个基准测试中取得了最先进结果。

ABSTRACT

Many similarity-based clustering methods work in two separate steps including similarity matrix computation and subsequent spectral clustering. However, similarity measurement is challenging because it is usually impacted by many factors, e.g., the choice of similarity metric, neighborhood size, scale of data, noise and outliers. Thus the learned similarity matrix is often not suitable, let alone optimal, for the subsequent clustering. In addition, nonlinear similarity often exists in many real world data which, however, has not been effectively considered by most existing methods. To tackle these two challenges, we propose a model to simultaneously learn cluster indicator matrix and similarity information in kernel spaces in a principled way. We show theoretical relationships to kernel k-means, k-means, and spectral clustering methods. Then, to address the practical issue of how to select the most suitable kernel for a particular clustering task, we further extend our model with a multiple kernel learning ability. With this joint model, we can automatically accomplish three subtasks of finding the best cluster indicator matrix, the most accurate similarity relations and the optimal combination of multiple kernels. By leveraging the interactions between these three subtasks in a joint framework, each subtask can be iteratively boosted by using the results of the others towards an overall optimal solution. Extensive experiments are performed to demonstrate the effectiveness of our method.

研究动机与目标

• 解决传统两步相似性聚类方法的局限性，即分别计算相似性矩阵并执行谱聚类，这些方法对参数选择和次优相似性度量敏感。
• 通过在核空间中直接操作以捕捉复杂非线性关系，克服非线性数据结构的挑战。
• 通过将多核学习集成到聚类框架中，消除手动选择核的需要，实现最优核组合的自动选择。
• 将相似性学习、聚类指示学习和核权重学习统一到一个单一的联合优化框架中，使各组件通过迭代方式相互提升。

提出的方法

• 该方法将联合优化问题公式化，同时学习相似性矩阵 Z 和聚类指示矩阵 H，并对 Z 的拉普拉斯矩阵施加秩约束，以强制实现聚类结构。
• 利用自表达特性，即每个数据点可表示为其他点的线性组合，直接从数据中学习全局相似性关系。
• 通过在再生核希尔伯特空间中应用优化，将该框架扩展到核空间，从而能够捕捉非线性数据结构。
• 引入多核学习扩展，其中最终共识核被学习为多个基础核的加权线性组合，且权重与相似性和聚类组件联合优化。
• 设计了一种高效的交替优化算法来求解非凸问题，通过迭代更新 Z、H 和核权重直至收敛。
• 建立了与核 k-means、k-means 和谱聚类的理论联系，表明所提方法泛化并改进了这些经典方法。

实验结果

研究问题

• RQ1 是否能够通过统一框架联合优化相似性学习、聚类指示学习和核选择，以提升聚类性能？
• RQ2 相似性学习与聚类指示学习之间的交互如何相较于独立优化提升整体聚类质量？
• RQ3 在具有复杂非线性结构的真实世界数据集上，该方法在多大程度上优于现有的单核和多核聚类方法？
• RQ4 该方法对参数选择的鲁棒性如何，特别是对正则化参数 α 和 β 在不同数据集上的敏感性如何？

主要发现

• 所提出的 SCMK 方法在所有基准数据集上均取得了最先进性能，与单核和多核基线相比，在准确率、NMI 和纯度方面均有显著提升。
• 在 JAFFE、AR、BA、TR11 和 TR45 数据集上，SCMK 显著优于其他方法，证明了其在具有复杂结构的挑战性真实世界数据上的有效性。
• 单核方法中最佳结果与平均结果之间的差距凸显了核选择的关键影响，验证了自动核学习的必要性。
• 该方法对参数 α 展现出强鲁棒性，覆盖广泛取值范围，但对 β 更为敏感，表明对 β 进行仔细调优可能有益。
• 大量实验结果证实，相似性、聚类和核权重的联合优化带来了持续的性能提升，各组件通过彼此反馈实现改进。