[论文解读] Multi-view Laplacian Support Vector Machines

Shiliang Sun|arXiv (Cornell University)|Jul 26, 2013

Face and Expression Recognition参考文献 25被引用 4

一句话总结

该论文提出了一种新型半监督学习方法——多视图拉普拉斯支持向量机（MvLapSVM），将流形正则化与多视图正则化整合到支持向量机中，用于多视图数据。通过在再生核希尔伯特空间中优化凸对偶问题，并利用经验雷电曼复杂度，该方法实现了更好的泛化性能，在合成数据集和真实世界数据集（包括NBA-NASCAR和网页分类任务）上均优于现有方法。

ABSTRACT

We propose a new approach, multi-view Laplacian support vector machines (SVMs), for semi-supervised learning under the multi-view scenario. It integrates manifold regularization and multi-view regularization into the usual formulation of SVMs and is a natural extension of SVMs from supervised learning to multi-view semi-supervised learning. The function optimization problem in a reproducing kernel Hilbert space is converted to an optimization in a finite-dimensional Euclidean space. After providing a theoretical bound for the generalization performance of the proposed method, we further give a formulation of the empirical Rademacher complexity which affects the bound significantly. From this bound and the empirical Rademacher complexity, we can gain insights into the roles played by different regularization terms to the generalization performance. Experimental results on synthetic and real-world data sets are presented, which validate the effectiveness of the proposed multi-view Laplacian SVMs approach.

研究动机与目标

• 解决在标注数据稀缺但未标注数据丰富的多视图数据设置下的半监督学习挑战。
• 通过引入流形正则化以利用数据内在结构，以及引入多视图正则化以确保各视图间的一致性，扩展传统SVM。
• 通过经验雷电曼复杂度分析，为泛化性能提供理论基础。
• 在合成与真实世界多视图数据集上，通过实证方法验证所提方法的有效性。

提出的方法

• 该方法在再生核希尔伯特空间中构建一个包含三项正则化项的原始优化问题：函数范数、流形（图拉普拉斯）正则化和多视图正则化。
• 通过基于数据点对之间相似性的图拉普拉斯矩阵实现流形正则化，以促进决策函数在数据流形上的平滑性。
• 多视图正则化通过依赖于各视图独立预测结果的联合损失函数，强制各视图间预测的一致性。
• 将原始问题转化为有限维欧氏空间中的对偶优化问题，从而可通过凸优化技术高效求解。
• 理论分析包括推导泛化误差边界，并通过经验雷电曼复杂度分析各正则化项的作用。
• 实际应用中采用归一化的图拉普拉斯矩阵（拉普拉斯矩阵），以提升稳定性和性能。

实验结果

研究问题

• RQ1 如何在半监督SVM框架中有效结合流形正则化与多视图正则化，以提升泛化性能？
• RQ2 各正则化项（函数范数、流形、多视图）对模型泛化误差的理论影响是什么？
• RQ3 经验雷电曼复杂度如何反映不同正则化组件对模型容量与性能的影响？
• RQ4 所提方法是否能在多视图半监督学习中超越现有最先进方法（如LapSVM、Co-Laplacian SVM和Co-SVM）？
• RQ5 在标注样本有限的真实世界数据集中，多视图与流形结构的融合在多大程度上提升了性能？

主要发现

• 在NBA-NASCAR数据集上，MvLapSVM在测试集上达到99.38%（±0.64）的准确率，在未标记数据集上达到99.54%（±0.56）的准确率，优于所有基线方法。
• 在网页分类数据集上，MvLapSVM在测试集上达到94.25%（±1.62）的准确率，在未标记训练集上达到93.53%（±2.04）的准确率，超过所有对比方法。
• 理论分析表明，多视图正则化在降低经验雷电曼复杂度方面起着关键作用，从而改善泛化性能。
• 通过雷电曼复杂度分析验证，该方法因流形与多视图正则化的均衡整合而展现出强大的泛化能力。
• 实证结果证实，MvLapSVM在多个数据集和评估指标上始终排名第一或接近第一，表明其具有鲁棒性与有效性。