[论文解读] SelectiveNet: A Deep Neural Network with an Integrated Reject Option

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|Jan 26, 2019

Domain Adaptation and Few-Shot Learning被引用 62

一句话总结

SelectiveNet 训练一个三头深度网络端到端，以执行预测并通过内置拒绝选项来拒绝，在分类和回归任务中相较于基于置信度的标准拒绝方法，获得更好的风险-覆盖权衡。

ABSTRACT

We consider the problem of selective prediction (also known as reject option) in deep neural networks, and introduce SelectiveNet, a deep neural architecture with an integrated reject option. Existing rejection mechanisms are based mostly on a threshold over the prediction confidence of a pre-trained network. In contrast, SelectiveNet is trained to optimize both classification (or regression) and rejection simultaneously, end-to-end. The result is a deep neural network that is optimized over the covered domain. In our experiments, we show a consistently improved risk-coverage trade-off over several well-known classification and regression datasets, thus reaching new state-of-the-art results for deep selective classification.

研究动机与目标

• 在深度网络中推动选择性预测（拒绝选项）并在覆盖约束下优化拒绝。
• 提出一个端到端的深度架构，在固定覆盖目标下联合学习预测与选择。
• 展示在分类和回归任务中，相对于传统基于置信度的拒绝，具备更优的风险–覆盖性能。
• 提供一种可扩展的训练方法，使用内部点风格的损失在学习预测的同时强制覆盖。

提出的方法

• 引入 SelectiveNet，一个在共享表示之上构建的具有预测、选择和辅助头的三头网络。
• 给出选择性损失 L_(f,g)，将预测风险与通过类似内部点方法强制目标覆盖的二次惩罚相结合。
• 通过选择性损失与辅助预测损失的凸组合进行训练，以确保主干学习对预测与拒绝都有用的特征。
• 在验证集上使用训练后校准技术，通过对选择头输出进行阈值化来更好地匹配期望的测试覆盖率。
• 将组合参数 α 设置为 0.5，将约束权重 λ 设置为 32，提供损失项之间的稳定折中。
• 在分类（SVHN、CIFAR-10、Cats vs. Dogs）和回归（混凝土抗压强度）任务上进行评估，并与 SR 和 MC-dropout 进行对比。

实验结果

研究问题

• RQ1 单个端到端训练的网络是否能够在给定覆盖要求下学习何时进行拒绝以及预测何种内容？
• RQ2 将预测和拒绝头联合训练是否比在预训练模型上应用独立的基于置信度的拒绝选项带来更好的风险-覆盖折中？
• RQ3 与标准的选择方法相比，SelectiveNet 在分类和回归上的表现如何？
• RQ4 哪种校准策略在训练后能有效使实际测试覆盖率与目标覆盖率对齐？

主要发现

• SelectiveNet 在分类任务中，在 CIFAR-10、SVHN 和 Cats vs. Dogs 上，对 Softmax Response (SR) 与 Monte Carlo dropout (MC-dropout) 的风险-覆盖折中表现出持续改进。
• 在回归方面，SelectiveNet 在低覆盖水平下优于 MC-dropout，提供了比集成方法更快的替代方案。
• 训练后校准方法可以使测试覆盖率接近目标且具有可量化的界限，校准后的 SelectiveNet 在所选覆盖率附近往往接近最优。
• 三头架构使主干能够学习同时支持准确预测和有效拒绝的表示，数据表征分析证明了这一点。