[论文解读] Parameter-Free Spectral Kernel Learning

Qi Mao, Ivor W. Tsang|arXiv (Cornell University)|Mar 15, 2012

Face and Expression Recognition参考文献 14被引用 8

一句话总结

本文提出了一种无需参数的谱核学习方法，利用图拉普拉斯矩阵的谱分解，解析地构建新的核矩阵，从而避免了数值优化。通过在标注数据上最大化核目标对齐度，该方法以闭式解自动学习模型参数，在基准数据集上实现了与微调后的流形正则化相当的性能，且优于多种核学习方法，且无需调整任何超参数。

ABSTRACT

Due to the growing ubiquity of unlabeled data, learning with unlabeled data is attracting increasing attention in machine learning. In this paper, we propose a novel semi-supervised kernel learning method which can seamlessly combine manifold structure of unlabeled data and Regularized Least-Squares (RLS) to learn a new kernel. Interestingly, the new kernel matrix can be obtained analytically with the use of spectral decomposition of graph Laplacian matrix. Hence, the proposed algorithm does not require any numerical optimization solvers. Moreover, by maximizing kernel target alignment on labeled data, we can also learn model parameters automatically with a closed-form solution. For a given graph Laplacian matrix, our proposed method does not need to tune any model parameter including the tradeoff parameter in RLS and the balance parameter for unlabeled data. Extensive experiments on ten benchmark datasets show that our proposed two-stage parameter-free spectral kernel learning algorithm can obtain comparable performance with fine-tuned manifold regularization methods in transductive setting, and outperform multiple kernel learning in supervised setting.

研究动机与目标

• 解决半监督核学习方法中超参数调优的挑战。
• 开发一种能够将未标注数据的流形结构与正则化最小二乘法（RLS）无缝结合的核学习方法。
• 消除在RLS和未标注数据加权中对数值优化求解器及手动调优权衡参数的需求。
• 通过核目标对齐实现模型参数的自动学习，并获得闭式解。
• 在半监督和监督设置下，证明该方法在性能上可与微调后的流形正则化和多种核学习方法相媲美。

提出的方法

• 该方法利用图拉普拉斯矩阵的谱分解构建新的核矩阵，实现无需数值优化的解析计算。
• 通过核矩阵的闭式表达，将未标注数据的流形结构与RLS相结合。
• 模型参数（包括RLS权衡参数和未标注数据平衡参数）通过在标注数据上最大化核目标对齐度自动学习。
• 核目标对齐度使用标注数据计算，并以闭式解优化，避免使用迭代求解器。
• 该方法采用两阶段框架：第一阶段为谱核构建；第二阶段为通过最大化对齐度实现自动参数学习。
• 最终的核矩阵通过解析推导获得，确保计算效率和无超参数操作。

实验结果

研究问题

• RQ1 能否开发一种无需超参数调优但能有效利用未标注数据的核学习方法？
• RQ2 能否通过图拉普拉斯矩阵的谱分解，无需数值优化，解析地构建核矩阵？
• RQ3 能否通过核目标对齐自动学习模型参数（如RLS权衡参数和未标注数据加权参数）？
• RQ4 无超参数方法在半监督和监督设置下的性能与微调后的流形正则化和多种核学习方法相比如何？
• RQ5 能否在保持良好泛化性能的同时，实现核学习的闭式解？

主要发现

• 所提方法在十个基准数据集的半监督设置下，性能与微调后的流形正则化相当。
• 在监督学习场景中，无需任何超参数调优，其性能优于多种核学习方法。
• 该方法消除了对数值优化求解器的需求，实现了更快、更稳定的核矩阵构建。
• 模型参数通过核目标对齐自动学习，无需手动调优RLS权衡参数或未标注数据平衡参数。
• 核矩阵通过谱分解解析推导，确保计算效率和理论鲁棒性。
• 两阶段框架成功以无超参数方式整合流形结构与RLS，展现出强劲的实证性能。