[论文解读] ReAct: Out-of-distribution Detection With Rectified Activations

Yiyou Sun, Chuan Guo+1 more|arXiv (Cornell University)|Nov 24, 2021

Adversarial Robustness in Machine Learning被引用 46

一句话总结

ReAct 是一种事后激活修正方法，通过降低神经网络中的高激活来改进 OOD 检测，在 ImageNet 和 CIFAR 基准上无需再训练即可达到最先进结果。

ABSTRACT

Out-of-distribution (OOD) detection has received much attention lately due to its practical importance in enhancing the safe deployment of neural networks. One of the primary challenges is that models often produce highly confident predictions on OOD data, which undermines the driving principle in OOD detection that the model should only be confident about in-distribution samples. In this work, we propose ReAct--a simple and effective technique for reducing model overconfidence on OOD data. Our method is motivated by novel analysis on internal activations of neural networks, which displays highly distinctive signature patterns for OOD distributions. Our method can generalize effectively to different network architectures and different OOD detection scores. We empirically demonstrate that ReAct achieves competitive detection performance on a comprehensive suite of benchmark datasets, and give theoretical explication for our method's efficacy. On the ImageNet benchmark, ReAct reduces the false positive rate (FPR95) by 25.05% compared to the previous best method.

研究动机与目标

• 解释神经网络在分布外（OOD）数据上的过度自信及其对 OOD 检测的影响。
• 引入一个简单的事后方法（ReAct），对倒数第二层激活进行修正以减轻过度自信。
• 在大规模和 CIFAR 基准上展示跨架构及 OOD 评分函数的实证改进。
• 提供理论分析解释为何激活截断有助于区分 ID 与 OOD。

提出的方法

• 应用 ReAct 操作：bar h(x)= min(h(x), c) 到倒数第二层激活，其中 c 是在分布内数据上选择的分位阈值。
• 利用下游 OOD 评分函数（如能量分数、MSP、ODIN）与经过修正的激活 f^{ReAct}(x)= W^T bar h(x) + b。
• 使用分布内激活的 p 分位数来选择 c（例如 p=90）。
• 展示与多种架构兼容（ResNet-50、MobileNet-v2）以及正则化方案（BatchNorm、WeightNorm、GroupNorm）的兼容性。
• 给出理论分析，表明 ReAct 相比于 ID 激活更能减少 OOD 激活，且这可以提高输出分数中的 ID 与 OOD 的分离。

实验结果

研究问题

• RQ1 通过简单截断修正激活对跨架构的 OOD 检测性能有何影响？
• RQ2 ReAct 是否能在不同 OOD 评分函数和归一化方案下泛化？
• RQ3 为什么 OOD 输入会触发异常激活，激活截断是否能缓解？
• RQ4 应用 ReAct 后，对 ID 与 OOD 的分离在理论上有何解释？

主要发现

• ReAct 在大规模 ImageNet 和 CIFAR 基准上实现了最先进的事后 OOD 检测性能，显著降低误报率。例如，在 ImageNet 的 ResNet 上，ReAct 在 iNaturalist 的 FPR95 为 20.38，在 Textures 上达到 47.30，AUROC 为 92.95，优于 MSP、ODIN 和基于能量的基线。
• 在 CIFAR-10/100 上，ReAct 与各种评分函数结合时始终提升 OOD 检测，包括能量和 ODIN；能量+ReAct 在各数据集上显示强劲提升。
• 在 ImageNet 基准上一个显著提升是相较于前一最佳方法，FPR95 降幅 25.05 个百分点。
• 理论分析显示 ReAct 能减少 OOD 激活相较于 ID 激活，尤其当 OOD 激活呈正偏态和更高的混乱度时，这在许多 OOD 分布中很常见；这导致 OOD 与 ID 分数（如能量分数）之间的输出差距增大。
• 实验表明 ReAct 在多架构（ResNet-50、MobileNet-v2）和归一化方案（BatchNorm、WeightNorm、GroupNorm）上仍然有效，且在应用于倒数第二层时尤为有益。