[论文解读] Principled Detection of Out-of-Distribution Examples in Neural Networks.
ODIN 是一种原理严谨的后训练方法，用于在不重新训练的情况下检测神经网络中的分布外（OOD）输入。它使用温度缩放和输入扰动来分离 softmax 分数分布，显著提升了 OOD 检测性能——在 DenseNet/CIFAR-10 上，当真正例率保持在 95% 时，误报率从 34.7% 降低至 4.3%。
We consider the problem of detecting out-of-distribution examples in neural networks. We propose ODIN, a simple and effective out-of-distribution detector for neural networks, that does not require any change to a pre-trained model. Our method is based on the observation that using temperature scaling and adding small perturbations to the input can separate the softmax score distributions of in- and out-of-distribution samples, allowing for more effective detection. We show in a series of experiments that our approach is compatible with diverse network architectures and datasets. It consistently outperforms the baseline approach[1] by a large margin, establishing a new state-of-the-art performance on this task. For example, ODIN reduces the false positive rate from the baseline 34.7% to 4.3% on the DenseNet (applied to CIFAR-10) when the true positive rate is 95%. We theoretically analyze the method and prove that performance improvement is guaranteed under mild conditions on the image distributions.
研究动机与目标
- 开发一种可靠、后训练的神经网络分布外输入检测方法，无需修改模型。
- 改善分布内与分布外 softmax 分数分布之间的分离度。
- 确保在多种架构和数据集上的兼容性。
- 为在温和分布假设下的性能提升提供理论依据。
提出的方法
- 该方法对最终的 softmax 层应用温度缩放，以锐化或软化置信度分数。
- 向测试输入添加小而与输入相关的扰动，以放大 softmax 输出的差异。
- 扰动通过损失函数对输入的梯度计算得出，并乘以一个较小的 epsilon 值。
- 该方法在模型训练后应用，无需重新训练或修改网络架构。
- 该方法利用了分布外样本对扰动的敏感性高于分布内样本的特性。
- 利用扰动后的 softmax 分数将输入分类为分布内或分布外。
实验结果
研究问题
- RQ1温度缩放和输入扰动是否能在不重新训练的情况下提升 OOD 检测性能？
- RQ2该方法是否在不同神经网络架构和数据集上具有泛化能力？
- RQ3观察到的性能提升的理论基础是什么？
- RQ4与现有基线方法相比，该方法在误报率和真正例率方面的表现如何？
主要发现
- 当真正例率保持在 95% 时，ODIN 在在 CIFAR-10 上训练的 DenseNet 上将误报率从 34.7% 降低至 4.3%。
- 该方法在多种网络架构和数据集上始终优于基线方法。
- 在输入分布的温和条件下，性能提升具有理论保证。
- 温度缩放和输入扰动能有效分离分布内与分布外样本的 softmax 分数分布。
- 该方法可兼容任意预训练神经网络，无需架构或训练过程的修改。
- 该方法在神经网络的 OOD 检测中建立了新的最先进水平。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。