[论文解读] Robust Out-of-distribution Detection via Informative Outlier Mining.

Jiefeng Chen, Yixuan Li+3 more|arXiv (Cornell University)|Jun 26, 2020

Adversarial Robustness in Machine Learning参考文献 19被引用 7

一句话总结

本文提出 ATOM，一种鲁棒的分布外（OOD）检测方法，通过在对抗训练过程中从无标签数据中选择性地挖掘有信息量的异常值，提升了泛化能力和对抗鲁棒性。ATOM 通过战略性地在最具区分性的异常值上进行训练，在多种自然和扰动 OOD 基准上实现了最先进性能，显著优于先前方法。

ABSTRACT

Detecting out-of-distribution (OOD) inputs is critical for safely deploying deep learning models in an open-world setting. However, existing OOD detection solutions can be brittle under small adversarial perturbations. In this paper, we propose a simple and effective method, Adversarial Training with informative Outlier Mining (ATOM), to robustify OOD detection. Our key observation is that while unlabeled data can be used as auxiliary OOD training data, the majority of these data points are not informative to improve the decision boundary of the OOD detector. We show that, by carefully choosing which outliers to train on, one can significantly improve the robustness of the OOD detector, and somewhat surprisingly, generalize to some adversarial attacks not seen during training. We provide additionally a unified evaluation framework that allows future research examining the robustness of OOD detection algorithms. ATOM achieves state-of-the-art performance under a broad family of natural and perturbed OOD evaluation tasks, surpassing previous methods by a large margin. Finally, we provide theoretical insights for the benefit of auxiliary unlabeled data and outlier mining.

研究动机与目标

• 解决现有 OOD 检测方法在小幅度对抗扰动下的脆弱性。
• 在训练过程中不依赖对抗数据的情况下，提升 OOD 检测器的鲁棒性。
• 识别并利用来自无标签数据的最具信息量的异常值，以增强决策边界学习。
• 构建一个统一的评估框架，以评估 OOD 检测算法的鲁棒性。
• 通过改进的异常值选择与训练策略，实现对未见对抗攻击的泛化能力。

提出的方法

• 提出一种新颖的训练范式，将对抗训练与从无标签数据中选择性挖掘异常值相结合。
• 使用不确定性或异常分数，从无标签数据中识别最具信息量的异常值，并将其纳入 OOD 训练集。
• 使用分布内数据、标注的 OOD 数据以及所选有信息量的异常值联合训练 OOD 检测器。
• 在训练过程中引入扰动，对 OOD 检测器实施对抗训练，以提升其鲁棒性。
• 设计一个统一的评估框架，用于在多种自然和扰动 OOD 场景下基准比较 OOD 检测鲁棒性。
• 借助理论分析，证明辅助无标签数据的优势，以及异常值选择对决策边界质量的影响。

实验结果

研究问题

• RQ1 从无标签数据中选择性挖掘有信息量的异常值，是否能显著提升 OOD 检测在对抗扰动下的鲁棒性？
• RQ2 在无标签异常值子集上训练的 OOD 检测器，在多大程度上能泛化到训练期间未见过的对抗攻击？
• RQ3 异常值选择策略的选择如何影响决策边界与整体 OOD 检测性能？
• RQ4 统一的评估框架能否有效捕捉并比较不同 OOD 检测方法的鲁棒性？
• RQ5 在 OOD 检测中，辅助无标签数据有效性的理论依据是什么？

主要发现

• ATOM 在广泛的 OOD 检测基准上实现了最先进性能，涵盖自然和扰动 OOD 场景。
• 该方法显著优于先前方法，尤其在对抗扰动下表现出更强的鲁棒性。
• 选择性异常值挖掘相比使用全部无标签数据，能带来更优的决策边界学习，提升检测准确率。
• 模型能泛化到训练期间未见的对抗攻击，表明其具备强大的鲁棒性与适应能力。
• 理论分析证实，有信息量的异常值挖掘可增强 OOD 检测器的判别能力。
• 统一的评估框架实现了 OOD 检测鲁棒性的持续且全面的基准测试。