[论文解读] Multiple Kernel $k$-Means Clustering by Selecting Representative Kernels

Yaqiang Yao, Huanhuan Chen|arXiv (Cornell University)|Nov 1, 2018

Face and Expression Recognition参考文献 23被引用 12

一句话总结

该论文提出了一种多核 $k$-均值聚类方法，通过选择一组具有代表性的非冗余核来提升聚类性能并减少冗余。通过将核多样性整合到优化框架中，并采用交替优化策略，该方法在基准数据集上的表现优于当前最先进方法。

ABSTRACT

To cluster data that are not linearly separable in the original feature space, $k$-means clustering was extended to the kernel version. However, the performance of kernel $k$-means clustering largely depends on the choice of kernel function. To mitigate this problem, multiple kernel learning has been introduced into the $k$-means clustering to obtain an optimal kernel combination for clustering. Despite the success of multiple kernel $k$-means clustering in various scenarios, few of the existing work update the combination coefficients based on the diversity of kernels, which leads to the result that the selected kernels contain high redundancy and would degrade the clustering performance and efficiency. In this paper, we propose a simple but efficient strategy that selects a diverse subset from the pre-specified kernels as the representative kernels, and then incorporate the subset selection process into the framework of multiple $k$-means clustering. The representative kernels can be indicated as the significant combination weights. Due to the non-convexity of the obtained objective function, we develop an alternating minimization method to optimize the combination coefficients of the selected kernels and the cluster membership alternatively. We evaluate the proposed approach on several benchmark and real-world datasets. The experimental results demonstrate the competitiveness of our approach in comparison with the state-of-the-art methods.

研究动机与目标

• 解决多核 $k$-均值聚类中核组合的高冗余性问题。
• 通过从预设集合中选择一组具有多样性的代表性核，提升聚类性能。
• 构建一个联合学习核权重与聚类分配的优化框架，同时促进核多样性。
• 减少现有多核聚类方法中因冗余核导致的计算低效与性能下降。

提出的方法

• 在目标函数中引入多样性正则化项，以鼓励选择非冗余的代表性核。
• 采用交替优化策略，迭代更新核组合权重与聚类成员分配。
• 通过组合权重表示所选核，反映其在最终核组合中的重要性。
• 采用非凸优化框架，通过正则化参数 $\lambda$ 显式建模核多样性。
• 利用特征值分解高效求解核 $k$-均值子问题。
• 通过修改目标函数，将核选择整合到多核 $k$-均值框架中，同时包含聚类与多样性目标。

实验结果

研究问题

• RQ1 选择一组具有多样性的核是否能提升多核 $k$-均值聚类的性能？
• RQ2 与标准多核学习方法相比，核多样性如何影响聚类准确率与鲁棒性？
• RQ3 通过正则化显式建模核冗余是否能带来更好的收敛性与效率？
• RQ4 所提方法在聚类准确率与计算效率方面是否能超越当前最先进多核聚类方法？

主要发现

• 所提方法在多个基准数据集与真实世界数据集上实现了具有竞争力的聚类性能，优于现有最先进方法。
• 该方法在不同数据集上表现出稳定性能，对 ORL 数据集上的多样性正则化参数 $\lambda$ 敏感性极低。
• 在 TR11 数据集上，性能在 $\lambda = 2^{-2}$ 时先下降后趋于稳定，表明多样性与准确率之间存在权衡。
• 随着 $\lambda$ 增大，所选代表性核的数量减少，表明更高的正则化导致更稀疏的核选择，从而提升可解释性。
• 在 ORL 与 TR11 数据集上，目标函数均在 10 次迭代内收敛，表明交替优化算法具有快速收敛性。
• 该方法显著优于 MKKM-MR，通过增强核多样性并减少冗余，实现了更优的聚类结果。