[论文解读] NOMU: Neural Optimization-based Model Uncertainty

Jakob Heiss, Jakob Weissteiner+3 more|Zurich Open Repository and Archive (University of Zurich)|Feb 26, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用 5

一句话总结

NOMU 是一种新颖的神经网络架构，通过使用自定义损失函数联合训练预测头和专用的不确定性头，估计模型不确定性，确保满足可靠不确定性量化所需的五个关键期望。在回归和无噪声贝叶斯优化任务中，NOMU 在低数据、低噪声设置下表现优于 MC Dropout、Deep Ensembles 和 Hyper-Deep Ensembles，此时不确定性校准至关重要。

ABSTRACT

We study methods for estimating model uncertainty for neural networks (NNs) in regression. To isolate the effect of model uncertainty, we focus on a noiseless setting with scarce training data. We introduce five important desiderata regarding model uncertainty that any method should satisfy. However, we find that established benchmarks often fail to reliably capture some of these desiderata, even those that are required by Bayesian theory. To address this, we introduce a new approach for capturing model uncertainty for NNs, which we call Neural Optimization-based Model Uncertainty (NOMU). The main idea of NOMU is to design a network architecture consisting of two connected sub-NNs, one for model prediction and one for model uncertainty, and to train it using a carefully-designed loss function. Importantly, our design enforces that NOMU satisfies our five desiderata. Due to its modular architecture, NOMU can provide model uncertainty for any given (previously trained) NN if given access to its training data. We evaluate NOMU in various regressions tasks and noiseless Bayesian optimization (BO) with costly evaluations. In regression, NOMU performs at least as well as state-of-the-art methods. In BO, NOMU even outperforms all considered benchmarks.

研究动机与目标

• 为解决在低数据、无噪声设置下神经网络中模型不确定性主导时缺乏可靠的模型不确定性估计问题。
• 识别并形式化模型不确定性边界应满足的五个基本期望，包括在训练点和外推区域的正确行为。
• 开发一种系统性地满足这些期望的方法，克服现有方法（如 MC Dropout 和集成方法）的局限性。
• 创建一种可扩展、模块化的解决方案，可使用其训练数据应用于任何预训练神经网络。

提出的方法

• NOMU 使用双头神经网络架构：一个用于预测，一个用于不确定性估计。
• 不确定性头输出原始不确定性分数，经可学习的读出映射 φ(z) = ℓ_max(1 − exp(−(max(0,z) + ℓ_min)/ℓ_max)) 转换，以确保正值和数值稳定性。
• 设计自定义损失函数以强制满足五个期望，包括在观测数据点处不确定性缩小以及在分布外区域的适当缩放。
• 该方法可端到端训练，并可使用其训练数据后处理应用于任何预训练模型。
• 读出映射参数 ℓ_min 和 ℓ_max 可固定以保证稳定性，或通过验证集优化学习。

实验结果

研究问题

• RQ1 现有最先进的模型不确定性估计方法是否可靠地满足诸如在训练点处不确定性缩小等基本期望？
• RQ2 能否设计一种神经网络架构，系统性地强制实现模型不确定性的关键特性，而无需依赖贝叶斯后验近似？
• RQ3 在低数据、无噪声回归任务中，NOMU 与 MC Dropout、Deep Ensembles 和 Hyper-Deep Ensembles 相比表现如何？
• RQ4 在评估成本高昂的贝叶斯优化中，NOMU 是否能提升性能，此时准确的不确定性估计至关重要？

主要发现

• NOMU 始终满足模型不确定性全部五个期望，包括在训练点处的正确不确定性缩小和在分布外区域的适当缩放。
• 与 MC Dropout 不同，NOMU 在观测数据点处的不确定性边界会缩小，避免了会降低主动学习性能的管状边界。
• 在数据稀缺、无噪声的回归任务中，NOMU 表现至少与当前最先进方法相当，且不确定性校准更可靠。
• 在无噪声贝叶斯优化中，NOMU 显著优于 MC Dropout、Deep Ensembles 和 Hyper-Deep Ensembles，展现出更优的探索效率。
• NOMU 的模块化设计使其可应用于任何预训练神经网络，实现无需从头开始训练的不确定性估计。