[论文解读] NADS: Neural Architecture Distribution Search for Uncertainty Awareness

Randy Ardywibowo, Shahin Boluki+3 more|arXiv (Cornell University)|Jun 11, 2020

Adversarial Robustness in Machine Learning被引用 10

一句话总结

NADS 提出了一种新颖的神经架构分布搜索框架，通过学习架构分布以最大化 WAIC 评分，实现对不确定性的感知，从而优化不确定性感知的模型架构，实现更优的分布外（OoD）检测。该方法在无需 OoD 训练数据的前提下，相较于最先进方法，在 15 种 OoD 检测配置中实现了最高达 57% 的准确率提升。

ABSTRACT

Machine learning (ML) systems often encounter Out-of-Distribution (OoD) errors when dealing with testing data coming from a distribution different from training data. It becomes important for ML systems in critical applications to accurately quantify its predictive uncertainty and screen out these anomalous inputs. However, existing OoD detection approaches are prone to errors and even sometimes assign higher likelihoods to OoD samples. Unlike standard learning tasks, there is currently no well established guiding principle for designing OoD detection architectures that can accurately quantify uncertainty. To address these problems, we first seek to identify guiding principles for designing uncertainty-aware architectures, by proposing Neural Architecture Distribution Search (NADS). NADS searches for a distribution of architectures that perform well on a given task, allowing us to identify common building blocks among all uncertainty-aware architectures. With this formulation, we are able to optimize a stochastic OoD detection objective and construct an ensemble of models to perform OoD detection. We perform multiple OoD detection experiments and observe that our NADS performs favorably, with up to 57% improvement in accuracy compared to state-of-the-art methods among 15 different testing configurations.

研究动机与目标

• 为解决 OoD 检测中不确定性量化缺乏系统性架构设计的问题。
• 克服标准 NAS 的局限性，后者优化目标为准确率而非不确定性感知。
• 开发一种搜索方法，识别出能够稳健估计预测不确定性的架构分布。
• 通过优化 WAIC（广义适用信息准则）提升 OoD 检测性能，该准则是一种已知对 OoD 误分类具有鲁棒性的惩罚似然评分。
• 基于学习到的架构后验分布构建贝叶斯集成模型，以增强不确定性估计。

提出的方法

• NADS 将架构搜索建模为对架构分布的随机优化问题，而非单一架构。
• 通过可微架构搜索（DARTS 风格）对离散架构搜索空间进行连续松弛，并引入参数化架构分布。
• 搜索目标为最大化广义适用信息准则（WAIC），该准则为预测准确性的贝叶斯估计，可惩罚过拟合并提升不确定性校准能力。
• 提出一种受 Glow（Kingma & Dhariwal, 2018）启发的新型生成式搜索空间，实现对多样化、不确定性感知架构的高效采样与参数化。
• 利用学习到的后验架构分布，通过基于 WAIC 的评分构建用于 OoD 检测的贝叶斯集成模型。
• 通过架构间的权重共享，实现高效训练与推理，在保持高性能的同时降低计算成本。

实验结果

研究问题

• RQ1 在不确定性感知 OoD 检测中表现优异的模型中，哪些架构组件具有持续存在的特征？
• RQ2 与优化似然相比，优化 WAIC 是否能提升 OoD 检测性能与不确定性校准？
• RQ3 学习架构分布而非单一架构，是否能带来更优的不确定性量化与 OoD 检测效果？
• RQ4 与训练过程中需使用 OoD 数据的方法（如 Outlier Exposure）相比，NADS 的表现如何？
• RQ5 基于 NAS 的方法是否能在无 OoD 训练数据的情况下实现最先进水平的 OoD 检测？

主要发现

• 在 15 种不同的分布内与分布外数据配对中，NADS 相较于最先进方法，OoD 检测准确率最高提升 57%。
• 该方法显著优于基线方法 MSP 和 ODIN，尤其在低频异常检测中表现更优，表现为 AUPR 分数持续更高。
• 尽管在搜索与训练过程中未使用任何 OoD 样本，NADS 的性能与需要在训练中使用 OoD 数据的 Outlier Exposure（OE）方法相当。
• 学习到的架构分布揭示了关键设计原则：结构简单的浅层、保留信息的操作，以及更深、具有跳跃连接的结构以增强稳定性。
• 基于架构分布构建的贝叶斯集成模型，显著提升了在多样化 OoD 数据集上的不确定性估计与鲁棒性。
• 与 ODIN 在不同 OoD 分布上表现不一致不同，NADS 展现出对各类 OoD 分布的稳定性。