[论文解读] One-vs-Rest Network-based Deep Probability Model for Open Set Recognition

Jaeyeon Jang, Chang Ouk Kim|arXiv (Cornell University)|Apr 17, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用 12

一句话总结

本文提出一种将一对其余Sigmoid网络架构与CNN特征提取器相结合的方法，通过增强对不匹配（未知）样本的特征学习，以提升开放集识别性能。通过利用极值理论进行得分校准，模型生成了具有充分理论依据的类别成员概率，优于当前最先进方法，尤其在中等开放度水平下表现更优。

ABSTRACT

Unknown examples that are unseen during training often appear in real-world computer vision tasks, and an intelligent self-learning system should be able to differentiate between known and unknown examples. Open set recognition, which addresses this problem, has been studied for approximately a decade. However, conventional open set recognition methods based on deep neural networks (DNNs) lack a foundation for post recognition score analysis. In this paper, we propose a DNN structure in which multiple one-vs-rest sigmoid networks follow a convolutional neural network feature extractor. A one-vs-rest network, which is composed of rectified linear unit activation functions for the hidden layers and a single sigmoid target class output node, can maximize the ability to learn information from nonmatch examples. Furthermore, the network yields a sophisticated nonlinear features-to-output mapping that is explainable in the feature space. By introducing extreme value theory-based calibration techniques, the nonlinear and explainable mapping provides a well-grounded class membership probability models. Our experiments show that one-vs-rest networks can provide more informative hidden representations for unknown examples than the commonly used SoftMax layer. In addition, the proposed probability model outperformed the state-of-the art methods in open set classification scenarios.

研究动机与目标

• 解决开放集识别中深度神经网络后识别得分分析缺乏理论基础的问题。
• 在训练过程中提升深度网络对不匹配（未知）样本的学习能力。
• 利用极值理论，为开放集条件下类别成员概率建立理论基础坚实的概率模型。
• 通过实现显式、可解释的非线性特征到得分映射，最小化开放空间风险。
• 提供一个支持智能自主学习系统的框架，从未知样本中提取有用信息。

提出的方法

• 在基于CNN的特征提取器之后，连接多个一对其余Sigmoid网络，每个网络训练用于将一个已知类别与所有其他类别区分开。
• 每个一对其余网络在隐藏层使用ReLU激活函数，输出层仅设一个Sigmoid节点，从而实现对匹配与不匹配样本的均衡学习。
• 通过避免SoftMax中抑制未知类别学习的归一化项，最大化从不匹配样本中提取的信息量。
• 应用极值理论（EVT）通过Weibull分布拟合匹配与不匹配得分的极值，实现决策得分的校准。
• 利用校准后的得分估计类别成员概率，该概率考虑了开放空间风险，并在特征空间几何结构上有理论依据。
• 通过调整超参数θ（尾部大小）和α（阈值），在不同开放度水平下优化F-measure。

实验结果

研究问题

• RQ1 与基于SoftMax的分类器相比，一对其余Sigmoid网络是否能提升对未知样本的特征表示能力？
• RQ2 所提出的架构是否为开放集识别中的概率估计提供了理论坚实的基础？
• RQ3 基于EVT的校准如何提升类别成员概率估计的可靠性？
• RQ4 该模型在深度学习驱动的开放集识别中，能在多大程度上降低开放空间风险？
• RQ5 超参数θ与α在不同开放度水平下对性能有何影响？

主要发现

• 所提方法在开放集识别中显著优于当前最先进方法，尤其在中等开放度水平下（例如Cifar-100数据集上37%的开放度）。
• 在LFW数据集上，当开放度超过50%时，所提方法的F-measure高于基线方法，表明其在高开放度场景下的鲁棒性。
• 一对其余网络生成了更具信息量的潜在特征，能更有效地分离已知类与未知类的分布，KL散度比较的p值小于10−25。
• 性能对尾部大小参数θ最为敏感，尤其在高开放度下，过小的尾部大小会导致Weibull拟合不佳，性能下降，原因在于数据不足。
• 当数据充足时，极端值比例较低（即θ较小）可获得最佳F-measure，表明以最小的极端值采样实现最优校准。
• 该模型展现出强泛化能力，随着开放度增加，F-measure的提升也越显著，证实其在真实、数据稀缺的开放世界设置中的有效性。