[论文解读] Prior choice affects ability of Bayesian neural networks to identify unknowns

Daniele Silvestro, Tobias Andermann|arXiv (Cornell University)|May 11, 2020

Adversarial Robustness in Machine Learning被引用 16

一句话总结

本研究探讨了贝叶斯神经网络（BNNs）中先验分布对分类性能及不确定性估计的影响，特别是在识别分布外（未知）实例方面。通过在四个数据集上使用MCMC采样和贝叶斯因子分析四种先验类型——均匀分布、正态分布、拉普拉斯分布和截断柯西分布，作者发现先验选择显著影响真正例率与假正例率，且在不同数据集上并无单一先验始终优于其他先验。

ABSTRACT

Deep Bayesian neural networks (BNNs) are a powerful tool, though computationally demanding, to perform parameter estimation while jointly estimating uncertainty around predictions. BNNs are typically implemented using arbitrary normal-distributed prior distributions on the model parameters. Here, we explore the effects of different prior distributions on classification tasks in BNNs and evaluate the evidence supporting the predictions based on posterior probabilities approximated by Markov Chain Monte Carlo sampling and by computing Bayes factors. We show that the choice of priors has a substantial impact on the ability of the model to confidently assign data to the correct class (true positive rates). Prior choice also affects significantly the ability of a BNN to identify out-of-distribution instances as unknown (false positive rates). When comparing our results against neural networks (NN) with Monte Carlo dropout we found that BNNs generally outperform NNs. Finally, in our tests we did not find a single best choice as prior distribution. Instead, each dataset yielded the best results under a different prior, indicating that testing alternative options can improve the performance of BNNs.

研究动机与目标

• 评估不同先验分布对贝叶斯神经网络在分类任务中性能的影响。
• 评估先验选择如何影响BNN对正确分布内预测分配高置信度的能力（真正例率）。
• 研究先验对检测分布外实例（假正例率）的影响。
• 比较贝叶斯神经网络与蒙特卡洛丢弃正则化神经网络在不确定性量化与预测可靠性方面的表现。
• 确定是否存在一种在多样化数据集上普遍最优的先验分布，或性能是否依赖于数据集特定特征。

提出的方法

• 实现了一个包含两个隐藏层的全连接深度神经网络，使用MCMC（梅特罗波利斯-哈斯廷斯算法）从权重后验分布中进行采样。
• 探索了四种先验分布：均匀分布（U(−5,5)）、标准正态分布（N(0,1)）、拉普拉斯分布（Laplace(0,1)）以及在±5处截断的柯西分布（C(0,1) truncated at ±5）。
• 使用Softmax输出层计算类别概率，并通过后验概率与贝叶斯因子评估预测结果。
• 在四个不同数据集（I–IV）的子集上进行训练，将一个或多个类别排除作为分布外测试实例。
• 每个数据集进行10次独立运行，使用不同的随机子集以评估结果的稳定性和变异性。
• 通过从先验中采样并在固定输入上进行预测，计算类别标签的经验先验概率，以评估先验引起的类别不平衡。

实验结果

研究问题

• RQ1 先验分布的选择如何影响贝叶斯神经网络在分布内分类中的真正例率？
• RQ2 先验选择在多大程度上影响了检测分布外（未知）实例的假正例率？
• RQ3 不同先验如何通过后验概率与贝叶斯因子影响预测的统计支持？
• RQ4 不同先验的BNN与使用蒙特卡洛丢弃的普通神经网络在准确率与不确定性估计方面有何比较？
• RQ5 是否存在一种在多样化数据集上普遍最优的先验分布，还是性能取决于数据集特定特征？

主要发现

• 先验选择显著影响BNN中的真正例率，同一数据集上不同先验的性能差异显著。
• 在数据集I上，截断柯西先验达到最高真正例率（0.997），而拉普拉斯先验在数据集II（0.575）和数据集IV（0.753）上表现最佳。
• 不同先验的分布外检测假正例率差异显著：在数据集IV上，均匀先验的假正例率最低（0.001），而拉普拉斯先验的假正例率最高（0.061）。
• BNN在准确率与不确定性估计方面始终优于使用蒙特卡洛丢弃的普通神经网络，尤其在识别未知样本方面表现更优。
• 并无单一先验分布能在所有数据集上提供最佳性能；每个数据集在不同先验下均表现出最优结果。
• 所有测试先验下，类别的经验先验概率均存在不平衡，表明先验分布即使在观测数据前也会在类别分配中引入系统性偏差。