[论文解读] Selective Classification for Deep Neural Networks

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|May 23, 2017

Anomaly Detection Techniques and Applications参考文献 1被引用 173

一句话总结

本文提出一种将经过训练的神经网络分类器 f 包裹在拒绝函数 g 中的方法，以在高度概率下保证目标风险，从而实现对深度神经网络的高覆盖率选择性分类。它在 CIFAR-10/100 和 ImageNet 上通过 SR 和 MC-dropout 的置信度方法展示了强烈的风险控制。

ABSTRACT

Selective classification techniques (also known as reject option) have not yet been considered in the context of deep neural networks (DNNs). These techniques can potentially significantly improve DNNs prediction performance by trading-off coverage. In this paper we propose a method to construct a selective classifier given a trained neural network. Our method allows a user to set a desired risk level. At test time, the classifier rejects instances as needed, to grant the desired risk (with high probability). Empirical results over CIFAR and ImageNet convincingly demonstrate the viability of our method, which opens up possibilities to operate DNNs in mission-critical applications. For example, using our method an unprecedented 2% error in top-5 ImageNet classification can be guaranteed with probability 99.9%, and almost 60% test coverage.

研究动机与目标

• 激发深度神经网络的选择性分类（拒绝选项），以在任务关键任务中提高可靠性。
• 提出一种实用方法（SGR），在给定训练好的 f 和置信率函数的情况下，构建具有保证风险控制的选择性分类器。
• 在标准数据集（CIFAR-10/100、ImageNet）上评估 SR 与 MC-dropout 置信率函数，以量化风险-覆盖权衡。
• 表明在不同架构（VGG-16、ResNet-50）上，也能在实现可观测试覆盖的同时达到接近目标风险。

提出的方法

• 定义一个选择性分类器 (f,g)，其中 f 为基础分类器，g 为拒绝函数。
• 引入基于置信率函数 kappa_f 的 g_theta，接受满足 kappa_f(x) >= theta 的样本。
• 提出选择性保证风险（SGR）算法，通过对 theta 进行二分搜索，在高置信度下通过界 b* 满足目标风险 r*。
• 利用 Gascuel & Caraux 给出的数值界 B*(hat{r}, delta, S_m) 来保证 R(f|P) <= B*(...).
• 考虑两种置信率函数：Softmax Response (SR) = max_j f(x|j) 以及基于 MC-dropout 的不确定性，将不确定性作为置信率。
• 将 SGR 应用于在 CIFAR-10/100 和 ImageNet 上的训练好网络（VGG-16、ResNet-50），以获得风险-覆盖曲线和保证风险界。

实验结果

研究问题

• RQ1 是否可以为固定的神经预测器 f 构建具有保证风险的选择性分类器？
• RQ2 在标准数据集上将 SR 与 MC-dropout 置信率函数用于 SGR 时，风险-覆盖的表现如何？
• RQ3 在保证给定风险的前提下，可以实现哪些覆盖率（CIFAR-10、CIFAR-100、ImageNet）？
• RQ4 该方法是否能扩展到不同架构（VGG-16、ResNet-50）和任务（ImageNet 的 top-1/top-5）？

主要发现

DESIRED RISK r*	TRAIN RISK	TRAIN COVERAGE	TEST RISK	TEST COVERAGE	RISK BOUND b*
0.01	0.0079	0.7822	0.0092	0.7856	0.0099
0.02	0.0160	0.8482	0.0149	0.8466	0.0199
0.03	0.0260	0.8988	0.0261	0.8966	0.0298
0.04	0.0362	0.9348	0.0380	0.9318	0.0399
0.05	0.0454	0.9610	0.0486	0.9596	0.0491
0.06	0.0526	0.9778	0.0572	0.9784	0.0600

• 在 CIFAR-10/100 上，SR 与 MC-dropout 产生几乎相同的风险-覆盖曲线，而在 ImageNet 的 top-1 与 top-5 上，SR 的表现优于 MC-dropout。
• SGR 在测试集上实现的风险低于目标 r*，且概率很高，提供接近 r* 的紧约束 b*。
• 在 CIFAR-10，delta=0.001 时，该方法在测试覆盖率超过 78% 的情况下保证 1% 的错误率。
• 在 CIFAR-100，delta=0.001 时，该方法在跨越 r* 值的情况下实现了实质性的覆盖率并控制风险，超越了先前结果。
• 在 ImageNet 上，VGG-16 和 ResNet-50 的 SGR 在 top-1 和 top-5 上实现受控风险，并具有显著的覆盖率，通常超过 60%。