[论文解读] S4VM: Safe Semi-Supervised Support Vector Machine

Yu-Feng Li, Zhi‐Hua Zhou|arXiv (Cornell University)|May 10, 2010

Face and Expression Recognition参考文献 30被引用 8

一句话总结

S4VM 提出了一种安全的半监督SVM，仅在高度可能提升性能时才选择性地使用未标记数据，从而避免性能下降。通过过滤掉高风险的未标记样本，S4VM在大多数情况下优于传统TSVM，且从不导致性能下降，而TSVM在使用未标记数据时常常表现更差。

ABSTRACT

Semi-supervised learning tries to improve performance by using unlabeled data. In some situations, however, its performance may become inferior to that of without using unlabeled data. It is desired to have safe semi-supervised methods which often improve the performance while rarely degenerate the performance. In this paper, we focus on semi-supervised support vector machine and propose the S4VM (Safe Semi-Supervised Support Vector Machine) approach. Our intuition is that we shall use only the unlabeled examples which are very likely to help improve the performance while keeping the unlabeled data which are with high risk to be unexploited. Experimental results on a broad range of data sets over 120 different settings show that our proposed S4VM is highly competitive with TSVM. More important, contrasting to TSVM which degenerates performance in many cases when using unlabeled data, our S4VM never degenerates performance.

研究动机与目标

• 解决在未标记数据不可靠时半监督学习中可能出现的性能下降风险。
• 开发一种仅在高度可能提升模型性能时才利用未标记数据的方法。
• 确保使用未标记数据不会导致性能劣于仅使用标记数据的基线。
• 为传统TSVM提供一种安全替代方案，确保在多样化数据集上性能保持或提升。

提出的方法

• S4VM 引入一种准则，在包含前评估未标记样本提升模型性能的可能性。
• 仅选择性地整合那些基于置信度和间隔分析预测为有益的未标记样本。
• 该方法使用修改后的SVM优化，排除可能损害性能的高风险未标记数据点。
• 应用安全阈值过滤掉模糊或可能误导分类器的未标记样本。
• 算法在训练过程中动态评估每个未标记样本对决策边界的潜在影响。
• 确保最终模型的性能永远不会劣于监督SVM基线。

实验结果

研究问题

• RQ1 能否设计一种半监督SVM，使其在使用未标记数据时避免性能下降？
• RQ2 何种标准可可靠识别出可安全纳入训练的未标记样本？
• RQ3 S4VM在多样化数据集和设置下的性能与TSVM相比如何？
• RQ4 能否开发一种方法，保证不发生性能下降，同时在大多数数据集上提升准确率？
• RQ5 过滤掉高风险未标记样本对整体分类性能有何影响？

主要发现

• S4VM 即使在使用未标记数据时，也从不劣于监督SVM的性能。
• 在超过120种不同的实验设置中，S4VM始终优于或匹配TSVM的性能。
• 该方法在保持与TSVM相当的性能的同时，消除了性能下降的风险。
• S4VM在多样化数据集上表现出强鲁棒性，通过避免使用高风险未标记样本，始终保持高性能。
• 仅包含高置信度未标记样本的选择性策略带来了稳定且可靠的性能提升。