[论文解读] TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification

Xavier Bresson, Ruiliang Zhang|arXiv (Cornell University)|Oct 2, 2012

Face and Expression Recognition参考文献 9被引用 3

一句话总结

本文提出TV-SVM，一种新颖的半监督分类框架，将总变差（TV）正则化与支持向量机（SVM）及再生核希尔伯特空间（RKHS）相结合。通过利用TV在保持不连续性并促进分段常数解方面的能力，TV-SVM在标注数据稀缺时显著降低了分类误差，尤其在仅使用每类1个标签的情况下，USPS数据集上的误差率降至1.75%。

ABSTRACT

We introduce semi-supervised data classification algorithms based on total variation (TV), Reproducing Kernel Hilbert Space (RKHS), support vector machine (SVM), Cheeger cut, labeled and unlabeled data points. We design binary and multi-class semi-supervised classification algorithms. We compare the TV-based classification algorithms with the related Laplacian-based algorithms, and show that TV classification perform significantly better when the number of labeled data is small.

研究动机与目标

• 解决在标注数据极度有限时的半监督分类挑战。
• 通过将总变差（TV）正则化引入SVM框架，促进数据图上的分段常数解，从而提升泛化能力。
• 在低标签设置下超越现有的基于拉普拉斯的半监督方法。
• 开发高效的优化算法，用于处理基于核的半监督学习框架中的不可微TV项，采用增广拉格朗日法与类似ADMM的分裂策略。
• 将TV-SVM框架扩展至二分类与多分类分类问题。

提出的方法

• 构建一个结合基于核的函数估计、SVM松弛变量以及图结构数据上总变差的TV正则化优化问题。
• 采用两变量分裂的增广拉格朗日法处理不可微的TV项，通过原始-对偶优化实现收敛。
• 应用原始-对偶方法求解TV子问题，收敛速率达到O(1/k²)。
• 对函数估计施加归一化和零均值约束，以稳定训练过程。
• 对于多分类问题，对软标签施加一致性约束，并将其投影到概率单纯形上。
• 采用类似切赫尔割（Cheeger cut）的公式，进一步增强多分类设置下的类别分离效果。

实验结果

研究问题

• RQ1 与基于拉普拉斯的方法相比，总变差正则化是否能提升半监督分类性能，特别是在标注样本极少的情况下？
• RQ2 在低标签设置下，TV-SVM相较于Lap-SVM和Lap-RLS的表现如何？
• RQ3 在基于核的半监督学习框架中，不可微的TV项能否被高效优化？
• RQ4 TV-SVM框架是否能良好泛化至多分类分类任务？
• RQ5 基于切赫尔的公式是否能通过强调数据内在结构进一步提升分类准确率？

主要发现

• 在仅每类1个标签的情况下，TV-SVM在USPS数据集上的测试误差为1.75%，显著优于Lap-SVM（49.95%）和Lap-RLS（20.06%）。
• TV-RLS在每类10个标签时误差为1.91%，优于Lap-RLS（4.03%），并在低数据设置下表现出强鲁棒性。
• TV-SVM在所有标签设置下均保持一致的性能，即使在每类50个标签时，误差率也低于1.85%。
• 基于切赫尔的SVM变体在每类10个标签时达到1.72%的误差，表明几何结构感知的正则化可增强泛化能力。
• 当标注数据稀缺时，基于TV的方法始终优于基于拉普拉斯的方法，证明TV在保持清晰决策边界方面的优势。
• 所提出的基于ADMM的优化方案能有效处理不可微的TV项，实现在大规模半监督问题上的稳定且精确的训练。