[论文解读] The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning

Jiaming Zeng, Adam Lesnikowski+1 more|arXiv (Cornell University)|Nov 29, 2018

Machine Learning and Algorithms参考文献 9被引用 24

一句话总结

本文研究了在深度主动学习中，是否必须采用完全贝叶斯神经网络才能捕捉模型不确定性。通过在MNIST数据集的CNN中改变贝叶斯层的数量和位置，作者发现仅在输出附近（尤其是最后的全连接层）设置一到两个贝叶斯层，即可实现与完全贝叶斯网络相当的不确定性估计效果，同时保持确定性网络的速度和准确性。

ABSTRACT

One of the main challenges of deep learning tools is their inability to capture model uncertainty. While Bayesian deep learning can be used to tackle the problem, Bayesian neural networks often require more time and computational power to train than deterministic networks. Our work explores whether fully Bayesian networks are needed to successfully capture model uncertainty. We vary the number and position of Bayesian layers in a network and compare their performance on active learning with the MNIST dataset. We found that we can fully capture the model uncertainty by using only a few Bayesian layers near the output of the network, combining the advantages of deterministic and Bayesian networks.

研究动机与目标

• 确定完全贝叶斯神经网络是否对于深度主动学习中的有效模型不确定性估计至关重要。
• 评估贝叶斯层位置和数量对卷积神经网络中不确定性捕捉的影响。
• 识别一种计算效率更高的完全贝叶斯网络替代方案，同时保持高质量的不确定性估计。
• 在主动学习中，将不同层配置的贝叶斯架构与确定性和完全贝叶斯基线进行比较。
• 优化贝叶斯层的初始化方差，以提升不确定性量化和模型性能。

提出的方法

• 使用具有高斯近似变分推断的贝叶斯卷积神经网络来建模权重不确定性。
• 通过对近似后验分布进行100次蒙特卡洛采样，利用边际化方法估计预测不确定性。
• 在贝叶斯层中采用Flipout梯度估计器，实现高效、低方差的随机反向传播。
• 使用ADAM优化器，固定初始学习率为0.001，批量大小为64进行模型训练。
• 系统性地改变八个架构中贝叶斯层的数量和位置，包括完全贝叶斯（BNN）、部分贝叶斯（BNN-1、BNN-2等）和确定性（CNN）配置。
• 对贝叶斯层的变分后验分布初始方差进行优化，以提升不确定性校准和性能。

实验结果

研究问题

• RQ1 贝叶斯层在深层网络中的位置是否显著影响主动学习中的不确定性估计？
• RQ2 少量贝叶斯层（尤其是靠近输出层）是否能够实现与完全贝叶斯网络相当的不确定性估计性能？
• RQ3 贝叶斯层的初始化方差在多大程度上影响不确定性量化和模型准确率？
• RQ4 是否可能在保持确定性网络速度和准确率的同时，实现类似完全贝叶斯网络的不确定性捕捉？
• RQ5 不同采集函数（熵、变体比率）在具有不同贝叶斯层配置的架构中表现如何？

主要发现

• 仅使用一个或两个贝叶斯层——特别是最后的全连接层（Dense2）——即可实现与完全贝叶斯网络（BNN）相当的不确定性估计性能。
• BNN-1架构（仅在Dense2层使用贝叶斯）在熵和变体比率采集函数中均优于完全贝叶斯BNN，测试误差分别为2.63%和2.38%。
• BNN-1配置在最大熵采集函数下达到2.87%的测试误差，优于完全贝叶斯基线（3.28%）和确定性CNN（10.03%）。
• 初始化方差显著影响性能：较高的初始方差（均值 = -3）相比较低方差，在变体比率采集函数中表现更优，尤其在不确定性捕捉方面。
• Dense2层被确定为不确定性估计最关键的层，因其贝叶斯性质对采集函数性能的影响最大。
• 仅在最后几层使用贝叶斯层的部分贝叶斯网络，其不确定性估计质量与完全贝叶斯网络相当或更优，同时显著降低了训练成本和复杂度。