[论文解读] Single Model Uncertainty Estimation via Stochastic Data Centering

Jayaraman J. Thiagarajan, Rushil Anirudh+2 more|arXiv (Cornell University)|Jul 14, 2022

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出 Delta-UQ，一种基于随机常数偏置偏移实现随机数据中心化的单模型不确定性估计方法，通过生成多样化预测实现精确的信念不确定性量化。通过在引入可学习锚点的输入上训练单一神经网络，Delta-UQ 在计算效率和有效性方面媲美深度集成模型，同时在异常值检测、分布偏移鲁棒性以及贝叶斯优化任务中表现优异。

ABSTRACT

We are interested in estimating the uncertainties of deep neural networks, which play an important role in many scientific and engineering problems. In this paper, we present a striking new finding that an ensemble of neural networks with the same weight initialization, trained on datasets that are shifted by a constant bias gives rise to slightly inconsistent trained models, where the differences in predictions are a strong indicator of epistemic uncertainties. Using the neural tangent kernel (NTK), we demonstrate that this phenomena occurs in part because the NTK is not shift-invariant. Since this is achieved via a trivial input transformation, we show that this behavior can therefore be approximated by training a single neural network -- using a technique that we call $Δ-$UQ -- that estimates uncertainty around prediction by marginalizing out the effect of the biases during inference. We show that $Δ-$UQ's uncertainty estimates are superior to many of the current methods on a variety of benchmarks -- outlier rejection, calibration under distribution shift, and sequential design optimization of black box functions. Code for $Δ-$UQ can be accessed at https://github.com/LLNL/DeltaUQ

研究动机与目标

• 开发一种计算高效的单模型不确定性估计方法，使其性能可媲美深度集成模型。
• 探究通过常数偏置实现的随机数据偏移是否足以引发模型多样性，从而实现信念不确定性估计。
• 证明基于锚点的数据变换所生成的不确定性可仅通过少量架构修改的单一神经网络进行近似。
• 验证该方法在实际场景（如分布偏移、异常值检测和序列黑箱优化）中的鲁棒性。

提出的方法

• 该方法在输入数据上引入可学习锚点向量 $[\mathbf{c}, \mathbf{x} - \mathbf{c}]$ 进行增强，其中 $\mathbf{c}$ 为可学习偏置向量，并训练单一深度神经网络。
• 推理阶段通过采样不同的锚点值 $\mathbf{c}$ 生成多个预测结果，不确定性通过这些预测结果的标准差进行估计。
• 该方法基于神经正切核（NTK）的非平移不变性，解释了即使权重初始化相同，不同偏置偏移也会导致模型解的差异。
• 通过边缘化锚点变化，避免了完整的集成训练，从而以单一模型有效近似集成的多样性。
• 训练目标保持不变；仅修改输入表示以包含锚点，实现与现有模型的即插即用集成。
• 不确定性估计计算公式为 $\sigma = \text{std}(f(\mathbf{x}; \mathbf{\theta}, \mathbf{c}_1), \dots, f(\mathbf{x}; \mathbf{\theta}, \mathbf{c}_K))$，其中 $K$ 为推理阶段采样的锚点数量。

实验结果

研究问题

• RQ1 对输入数据施加随机常数偏置偏移，是否足以在单个深度神经网络中引发足够的模型多样性，以实现信念不确定性的估计？
• RQ2 神经正切核（NTK）的非平移不变性是否可解释在数据中心化下预测方差的出现？
• RQ3 通过锚点增强输入训练的单个模型，是否可近似实现深度集成的不确定性性能？
• RQ4 在分布偏移条件下，Delta-UQ 方法与现有不确定性估计基线方法相比，在校准性和鲁棒性方面表现如何？
• RQ5 Delta-UQ 是否能在数据有限的序列黑箱优化任务中提升性能？

主要发现

• 在基准函数的序列优化任务中，Delta-UQ 在曲线下面积（AUC）方面持续优于深度集成模型、蒙特卡洛 dropout、贝叶斯神经网络和高斯过程。
• 在高维问题（如 8D）中，Delta-UQ 保持优异性能，而 MCD 和 DEns 显著退化，凸显其可扩展性。
• 在 MNIST 的 GAN 基优化任务中，Delta-UQ 在相同采样预算下实现了比所有基线方法更高的函数值（图像厚度）。
• 在 ImageNet 和 CIFAR-10 的损坏数据变体上，Delta-UQ 在分布偏移下的校准性能优于现有方法。
• 该方法在 ImageNet 和 CIFAR-10 上实现了具有竞争力的准确率，同时提供有意义的不确定性估计，且训练开销极低。
• 消融实验确认，不确定性源于基于锚点的数据变换，而非模型权重的随机性，验证了核心机制的有效性。