[论文解读] Specialized Support Vector Machines for open-set recognition.

Pedro Ribeiro Mendes-Junior, Jacques Wainer+1 more|arXiv (Cornell University)|Jun 13, 2016

Domain Adaptation and Few-Shot Learning参考文献 68被引用 15

一句话总结

本文提出了一种新型支持向量机扩展——专用支持向量机（SSVM），专为开放集识别而设计，即在测试时可能出现未知类别的情形。通过在经验风险与未知风险之间取得平衡，并利用RBF核的约束确保开放空间风险有界，SSVM能够保证对分布外样本的有限拒绝，从而解决了传统SVM在开放集场景下的关键局限性。

ABSTRACT

Often, when dealing with real-world recognition problems, we do not need, and often cannot have, knowledge of the entire set of possible classes that might appear during operational testing. In such cases, we need to think of robust classification methods able to deal with the and properly reject samples belonging to classes never seen during training. Notwithstanding, almost all existing classifiers to date were mostly developed for the closed-set scenario, i.e., the classification setup in which it is assumed that all test samples belong to one of the classes with which the classifier was trained. In the open-set scenario, however, a test sample can belong to none of the known classes and the classifier must properly reject it by classifying it as unknown. In this work, we extend upon the well-known Support Vector Machines (SVM) classifier and introduce the Specialized Support Vector Machines (SSVM), which is suitable for recognition in open-set setups. SSVM balances the empirical risk and the risk of the unknown and ensures that the region of the feature space in which a test sample would be classified as known (one of the known classes) is always bounded, ensuring a finite risk of the unknown. In this work, we also highlight the properties of the SVM classifier related to the open-set scenario, and provide necessary and sufficient conditions for an RBF SVM to have bounded open-space risk.

研究动机与目标

• 解决传统SVM的局限性，即假设所有测试样本均属于已知训练类别（封闭集假设），这在实际场景中并不成立，因为可能出现未知类别。
• 开发一种分类框架，能够在推理过程中可靠地拒绝未知类别的样本，这是实际开放集识别中的关键需求。
• 确保被分类为‘已知’的特征空间区域保持有界，从而保证未知样本被误分类为已知类别的风险有限。
• 提供理论条件，说明RBF-SVM在何种情况下天然具备有界开放空间风险，从而为设计具备开放集能力的模型提供理论依据。

提出的方法

• 通过引入一种专门的公式化方法，扩展标准SVM，显式建模并最小化与未知类别相关的风险。
• 在已知类别的经验风险与未知样本误分类风险之间进行平衡，采用双重优化目标，对未知区域的过度自信进行惩罚。
• 通过利用RBF核的隐式几何结构，对决策边界的约束来确保已知类别区域在特征空间中的有界性。
• 推导出RBF-SVM实现有界开放空间风险的必要与充分条件，基于核的间隔特性和数据分布属性。
• 将SSVM表述为一种修改后的优化问题，同时整合已知类别分类与未知类别拒绝的目标。
• 利用RBF核的结构特性，确保决策函数不会无限延伸至未知区域，从而限制未知误分类的风险。

实验结果

研究问题

• RQ1 在何种条件下，标准RBF-SVM天然具备有界开放空间风险，从而能够可靠拒绝未知样本？
• RQ2 如何修改SVM框架，使其在训练过程中显式考虑未知类别的风险，从而在开放集识别中实现鲁棒性？
• RQ3 需要哪些数学约束才能保证被分类为‘已知’的特征空间区域始终保持有界？
• RQ4 所提出的SSVM框架是否能在保持已知类别高准确率的同时，确保未知误分类风险有限？
• RQ5 SSVM在推理过程中处理分布外样本的方式与传统SVM有何不同？

主要发现

• 本文建立了RBF-SVM天然表现出有界开放空间风险的必要与充分条件，为开放集鲁棒性提供了理论基础。
• 所提出的SSVM框架确保被分类为‘已知’的特征空间区域始终有界，从而保证未知误分类风险有限。
• 通过显式平衡经验风险与未知风险，SSVM在不损害已知类别性能的前提下，实现了对分布外样本的可靠拒绝。
• 该方法表明，标准SVM由于开放空间风险无界，本质上不适用于开放集识别，可能导致未知样本被高度误分类。
• 理论分析证实，当满足特定几何与分布约束时，RBF核的结构可实现有界的决策区域。
• SSVM为开放集识别提供了一种原则性、理论严谨的方法，将SVM的应用范围从封闭集假设扩展至更广泛的实际场景。