[论文解读] Self-weighted Multiple Kernel Learning for Graph-based Clustering and Semi-supervised Classification

Zhao Kang, Xiao Lu+2 more|arXiv (Cornell University)|Jun 20, 2018

Face and Expression Recognition被引用 13

一句话总结

该论文提出了一种自加权多核学习（SMKL）框架，通过将每个核视为共识核的扰动，并自动为更接近该共识核的核分配更高权重，从而在基于图的聚类和半监督分类任务中实现性能提升。该方法避免了额外的超参数，且在基准数据集上的表现优于当前最先进方法，展现出在聚类和分类任务中更高的准确率和更强的鲁棒性。

ABSTRACT

Multiple kernel learning (MKL) method is generally believed to perform better than single kernel method. However, some empirical studies show that this is not always true: the combination of multiple kernels may even yield an even worse performance than using a single kernel. There are two possible reasons for the failure: (i) most existing MKL methods assume that the optimal kernel is a linear combination of base kernels, which may not hold true; and (ii) some kernel weights are inappropriately assigned due to noises and carelessly designed algorithms. In this paper, we propose a novel MKL framework by following two intuitive assumptions: (i) each kernel is a perturbation of the consensus kernel; and (ii) the kernel that is close to the consensus kernel should be assigned a large weight. Impressively, the proposed method can automatically assign an appropriate weight to each kernel without introducing additional parameters, as existing methods do. The proposed framework is integrated into a unified framework for graph-based clustering and semi-supervised classification. We have conducted experiments on multiple benchmark datasets and our empirical results verify the superiority of the proposed framework.

研究动机与目标

• 解决现有多核学习（MKL）方法因刚性线性组合假设和核权重分配不佳而导致的性能瓶颈，这些方法常无法超越单核方法。
• 开发一种灵活的核学习策略，使最优核位于基核的邻域内，而非严格限定为线性组合形式。
• 基于与共识核的接近程度自动分配核权重，从而消除对额外超参数的依赖。
• 将图构建、标签学习与核学习统一于单一优化框架中，通过相互反馈机制提升整体性能。
• 在真实世界基准数据集上，通过实证验证所提方法在聚类和半监督分类任务中的优越性。

提出的方法

• 提出一种新颖的核学习策略，将每个基核视为共享共识核的扰动，使最优核可从基核的邻域中自然涌现。
• 引入自加权机制，使更接近共识核的核获得更高权重，且权重直接从核矩阵中推导，无需额外参数。
• 设计一种迭代优化算法，在统一框架下联合优化图构建、标签传播与核学习。
• 利用核空间中的自表达性特性，学习支持聚类与半监督学习的图结构。
• 将图结构约束融入优化过程，确保所学图恰好具有c个连通分量（对应c个聚类或类别）。
• 通过交替方向法求解所得的非凸优化问题，实现最优核与图的端到端联合学习。

实验结果

研究问题

• RQ1 一种将核建模为共识核扰动的多核学习框架，是否能在聚类与半监督分类任务中超越传统MKL方法？
• RQ2 基于与共识核接近程度的自动核加权机制，是否可消除对额外超参数的依赖并提升性能？
• RQ3 一种整合核学习、图构建与标签学习的统一框架，是否能优于解耦的处理方式？
• RQ4 在多种基准数据集上，所提方法在准确率与鲁棒性方面与最先进方法相比表现如何？
• RQ5 自加权机制是否能产生比标准凸MKL公式更稳定、更具代表性的核组合？

主要发现

• 所提出的SMKL方法在多个基准数据集（包括YALE、JAFFE、BA和COIL20）上，于聚类与半监督分类任务中均显著优于当前最先进方法。
• 在YALE数据集上，SMKL在50%标注数据下达到84.67%的准确率，优于第二名方法S3R（84.45%），展现出持续优势。
• 在COIL20数据集上，SMKL在50%标注数据下达到99.97%的准确率，显著优于SCAN（97.53%）与S3R（97.87%），凸显其在视觉物体识别任务中的有效性。
• 该方法在所有数据集与标注比例下均取得最佳平均性能，且标准差始终较低，表明其具有优异的鲁棒性。
• 自加权机制成功地为更具代表性的核分配更高权重，且未引入额外参数，从而提升了泛化能力。
• 实证结果证实，所提框架通过实现核、图与标签学习的相互优化，显著增强了聚类与半监督分类性能。