[论文解读] On Stein Variational Neural Network Ensembles

Francesco D'Angelo, Vincent Fortuin+1 more|arXiv (Cornell University)|Jun 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 63被引用 5

一句话总结

本文提出了一种统一框架，通过在权重空间和函数空间中使用函数核与混合核，实现斯坦因变分神经网络集成，从而提升多样性与不确定性估计。结果表明，结合函数核与随机更新的SVG D优于标准深度集成和权重空间SVG D，能更接近真实的贝叶斯后验分布，同时提升分布外检测与校准性能。

ABSTRACT

Ensembles of deep neural networks have achieved great success recently, but they do not offer a proper Bayesian justification. Moreover, while they allow for averaging of predictions over several hypotheses, they do not provide any guarantees for their diversity, leading to redundant solutions in function space. In contrast, particle-based inference methods, such as Stein variational gradient descent (SVGD), offer a Bayesian framework, but rely on the choice of a kernel to measure the similarity between ensemble members. In this work, we study different SVGD methods operating in the weight space, function space, and in a hybrid setting. We compare the SVGD approaches to other ensembling-based methods in terms of their theoretical properties and assess their empirical performance on synthetic and real-world tasks. We find that SVGD using functional and hybrid kernels can overcome the limitations of deep ensembles. It improves on functional diversity and uncertainty estimation and approaches the true Bayesian posterior more closely. Moreover, we show that using stochastic SVGD updates, as opposed to the standard deterministic ones, can further improve the performance.

研究动机与目标

• 为解决标准深度集成中缺乏贝叶斯依据以及功能性多样性不足的问题。
• 通过利用基于粒子的推断与斯坦因变分梯度下降（SVGD）来改进不确定性估计与分布外检测。
• 开发一个统一框架，将深度集成与标准SVG D作为特例进行推广。
• 研究核选择（权重空间、函数空间、混合核）与更新类型（确定性、随机性）对集成多样性与后验近似的影响。
• 提出新的SVG D变体——fw-SVGD与h-SVGD，以克服现有功能性SVG D方法的局限性。

提出的方法

• 提出一种广义的斯坦因变分神经网络集成框架，整合基于权重空间、函数空间与混合核的SVG D方法。
• 引入fw-SVGD以修正先前功能性SVG D方法中的缺陷，确保正确的功能性多样性。
• 开发h-SVGD，一种混合方法，通过组合核在权重空间与函数空间中同时应用SVG D更新。
• 通过向梯度更新中注入噪声，采用随机SVG D更新，从而在多样性上超越确定性方法。
• 使用函数空间斯坦因差异的迷你批量近似，使方法可扩展至大规模模型与数据集。
• 在SVG D框架内应用退火调度与后验温度调节，以提升收敛性与校准性能。

实验结果

研究问题

• RQ1 不同核选择（权重空间、函数空间、混合核）如何影响神经网络集成的功能多样性与不确定性估计？
• RQ2 随机SVG D更新是否能在贝叶斯神经网络推断中提升多样性与性能，相较确定性SVG D？
• RQ3 所提出的fw-SVGD方法在功能性多样性与后验近似方面，相较于现有功能性SVG D方法表现如何？
• RQ4 基于SVG D的集成方法在多大程度上能逼近黄金标准的哈密顿蒙特卡洛后验分布？
• RQ5 与标准深度集成和pSGLD相比，这些SVG D变体在分布外检测与校准性能上表现如何？

主要发现

• 在CIFAR-100数据集上，h-SVGD-s方法在β=1时达到最高准确率（89.0% ± 0.2%）与最佳分布外检测性能（AUROC 0.890），优于深度集成与标准SVG D。
• h-SVGD-l与h-SVGD-s变体在功能性多样性与不确定性估计方面表现优异，在合成回归与分类任务中紧密逼近HMC后验分布。
• 与确定性方法相比，随机SVG D更新（h-SVGD-s）在准确率略有下降的情况下，仍显著提升了分布外检测与功能性多样性。
• fw-SVGD方法修正了先前功能性SVG D中的缺陷，相比f-SVGD，实现了更好的功能性多样性与更优的不确定性校准。
• 在CIFAR-100数据集上，β=1时，h-SVGD-l达到86.862% ± 0.056的准确率与2.454 ± 0.016的NLL，优于深度集成（85.434% ± 0.067的准确率）与w-SVGD（86.720% ± 0.073的准确率）。
• pSGLD方法在校准性能上表现最佳（ECE 0.065），但h-SVGD-s在分布外检测与功能性多样性方面达到或超过其表现，表明校准与不确定性鲁棒性之间存在权衡。