[论文解读] Repulsive Deep Ensembles are Bayesian

Francesco D’Angelo, Vincent Fortuin|arXiv (Cornell University)|Jun 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 72被引用 16

一句话总结

本文提出了一种排斥性深度集成方法，通过在权重空间或函数空间中引入核化排斥力，增强集成成员之间的多样性，将最大后验估计（MAP）推断转化为通过KL散度的Wasserstein梯度流实现的正统贝叶斯推断。该方法在不确定性估计和分布外（OOD）检测方面表现更优，其逼近真实贝叶斯后验的程度优于标准集成方法或SVGDM。

ABSTRACT

Deep ensembles have recently gained popularity in the deep learning community for their conceptual simplicity and efficiency. However, maintaining functional diversity between ensemble members that are independently trained with gradient descent is challenging. This can lead to pathologies when adding more ensemble members, such as a saturation of the ensemble performance, which converges to the performance of a single model. Moreover, this does not only affect the quality of its predictions, but even more so the uncertainty estimates of the ensemble, and thus its performance on out-of-distribution data. We hypothesize that this limitation can be overcome by discouraging different ensemble members from collapsing to the same function. To this end, we introduce a kernelized repulsive term in the update rule of the deep ensembles. We show that this simple modification not only enforces and maintains diversity among the members but, even more importantly, transforms the maximum a posteriori inference into proper Bayesian inference. Namely, we show that the training dynamics of our proposed repulsive ensembles follow a Wasserstein gradient flow of the KL divergence with the true posterior. We study repulsive terms in weight and function space and empirically compare their performance to standard ensembles and Bayesian baselines on synthetic and real-world prediction tasks.

研究动机与目标

• 为解决标准深度集成中缺乏多样性及收敛性保证的问题，这些方法常会坍缩为相似的函数，无法逼近真实的贝叶斯后验。
• 克服贝叶斯神经网络中的不可识别性问题，即不同的权重映射到等价的函数，造成计算资源浪费。
• 通过引入受Stein变分梯度下降（SVGD）启发的排斥力，使深度集成具备贝叶斯收敛性质。
• 比较在权重空间与函数空间中排斥性集成的性能，特别是预测不确定性与分布外检测的表现。
• 从理论上证明该方法是KL散度的Wasserstein梯度流，为深度集成提供严谨的贝叶斯解释。

提出的方法

• 在深度集成的梯度更新规则中引入核化排斥项，以抑制模型坍缩并强制实现功能多样性。
• 将训练动态建模为向真实后验的KL散度的Wasserstein梯度流，实现向贝叶斯后验的收敛。
• 使用SGE（半参数高斯过程）近似函数输出，在权重空间（WGD）和函数空间（fWGD）中实现排斥。
• 利用核函数计算集成成员之间的排斥力，力的大小取决于参数空间或函数空间中的距离。
• 将该方法应用于合成任务与真实世界任务，包括1D回归以及以SVHN作为OOD数据的CIFAR-10分类任务。
• 通过准确率、熵和不确定性校准等指标，将所提方法与标准深度集成、SVGDM及贝叶斯基线进行比较。

实验结果

研究问题

• RQ1 在集成成员之间引入排斥力是否能提升功能多样性并防止深度集成的坍缩？
• RQ2 深度集成的排斥训练动态是否对应于向真实后验的KL散度的Wasserstein梯度流？
• RQ3 在不确定性估计与OOD检测方面，函数空间排斥与权重空间排斥相比表现如何？
• RQ4 排斥性集成是否能在不确定性校准与泛化能力方面优于标准深度集成与SVGDM？
• RQ5 该方法在多大程度上缓解了贝叶斯神经网络中的不可识别性问题？

主要发现

• 所提出的排斥性集成在1D回归任务中显著提升了不确定性估计性能，其中函数空间方法（fWGD）能紧密逼近HMC后验。
• 在CIFAR-10上，权重空间排斥性集成（sge-WGD, ssge-WGD）在使用熵进行OOD检测时优于标准深度集成与SVGDM，准确率达到85.792%，不确定性评分为0.051。
• 函数空间排斥性集成（kde-fWGD, sge-fWGD）的不确定性校准优于权重空间方法，不确定性评分分别为0.282与0.288。
• sge-WGD变体在CIFAR-10上所有方法中实现了最佳的OOD检测性能，不确定性评分为0.051，准确率为85.792%。
• 函数空间排斥性集成在捕捉数据稀疏区域的中间不确定性方面表现更优，显著优于标准集成与权重空间方法。
• 理论分析证实，该方法遵循KL散度的Wasserstein梯度流，为深度集成提供了严谨的贝叶斯解释。