[论文解读] Variational Bayesian Last Layers

J. Harrison, John Willes+1 more|arXiv (Cornell University)|Apr 17, 2024

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本论文提出 Variational Bayesian Last Layers (VBLL)，一种确定性、无采样的训练贝叶斯最后一层神经网络的方法，在几乎不增加额外成本的前提下提升不确定性估计，并可与标准架构一起使用。

ABSTRACT

We introduce a deterministic variational formulation for training Bayesian last layer neural networks. This yields a sampling-free, single-pass model and loss that effectively improves uncertainty estimation. Our variational Bayesian last layer (VBLL) can be trained and evaluated with only quadratic complexity in last layer width, and is thus (nearly) computationally free to add to standard architectures. We experimentally investigate VBLLs, and show that they improve predictive accuracy, calibration, and out of distribution detection over baselines across both regression and classification. Finally, we investigate combining VBLL layers with variational Bayesian feature learning, yielding a lower variance collapsed variational inference method for Bayesian neural networks.

研究动机与目标

• 推动深度学习中对良好校准的不确定性需求，并解决贝叶斯方法的计算障碍。
• 提出一个确定性变分框架用于贝叶斯最后一层模型，以实现高效的训练和预测。
• 展示 VBLL 在多任务中提升预测准确性、似然、校准以及对分布外检测的能力。
• 提供一个实用的基于 PyTorch 的 VBLL 实现，并演示与 MAP 和变分特征学习的兼容性。

提出的方法

• 开发一个变分目标，为最后一层贝叶斯模型产生边际似然的无采样下界。
• 推导出回归、判别分类和生成分类最后一层模型的封闭形式或高效可计算的训练目标。
• 假设最后一层权重的变分后验为高斯分布，并具有结构化协方差以在表达能力和可处理性之间取得平衡。
• 表明 VBLL 的训练复杂性与标准训练的扩展性相近，且对于大型架构也实用。
• 将预测表示为变分后验下的期望，以获得不确定性估计。
• 可选地将 VBLL 与变分特征学习结合，形成一个坍缩的变分推断设置。

实验结果

研究问题

• RQ1 变分最后一层方法是否能在最小额外计算开销下提供准确的不确定性估计？
• RQ2 VBLL 如何影响回归与分类任务中的预测性能、校准和分布外检测？
• RQ3 在 VBLL 框架内，判别式与生成式最后一层模型的比较优势是什么？
• RQ4 将 VBLL 与变分特征学习结合是否能降低后验方差并提升鲁棒性？

主要发现

• VBLL 在回归与分类基准测试中提升预测准确性、似然、校准以及分布外检测。
• 在图像分类中，VBLL 变体在准确性和校准方面相对于基线具有竞争力或更优。
• 判别式 VBLL 展现出较强的性能和鲁棒性，特别是在 OOD 场景，准确性与不确定性之间取得有利权衡。
• 生成式 VBLL 提供合理的嵌入密度与良好的 OOD 敏感性，尽管性能随任务与配置而异。
• 将 VBLL 与变分特征学习结合可得到一个方差更低、坍缩的变分推断方法用于贝叶斯神经网络。