[论文解读] Sampling-based Bayesian Inference with gradient uncertainty

Chanwoo Park, Jae Myung Kim+2 more|arXiv (Cornell University)|Dec 8, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 8

一句话总结

本文提出了一种基于采样的贝叶斯推断新方法，利用梯度不确定性（通过小批量中随机梯度之间内积之和衡量）来检测是否收敛至局部最优，并触发参数采样。该方法通过减少在分布内和分布外设置下的过度自信，改进了预测不确定性估计，在MNIST和notMNIST基准测试中优于SGLD和基于dropout的方法。

ABSTRACT

Deep neural networks(NNs) have achieved impressive performance, often exceed human performance on many computer vision tasks. However, one of the most challenging issues that still remains is that NNs are overconfident in their predictions, which can be very harmful when this arises in safety critical applications. In this paper, we show that predictive uncertainty can be efficiently estimated when we incorporate the concept of gradients uncertainty into posterior sampling. The proposed method is tested on two different datasets, MNIST for in-distribution confusing examples and notMNIST for out-of-distribution data. We show that our method is able to efficiently represent predictive uncertainty on both datasets.

研究动机与目标

• 解决深度神经网络中过度自信预测的关键问题，特别是在医疗诊断和自动驾驶等安全关键应用中。
• 通过将梯度不确定性纳入基于采样的贝叶斯推断，改进预测不确定性估计。
• 开发一种计算高效的算法，仅在梯度表明已接近局部最优时才触发后验采样。
• 在真实世界基准数据集上，与SGLD和基于dropout的贝叶斯近似相比，展示出更优的不确定性量化性能，涵盖分布内（MNIST）和分布外（notMNIST）数据。

提出的方法

• 将梯度不确定性定义为小批量中所有随机梯度对之间内积之和：$\sum_{i \neq j} \langle X_i, X_j \rangle$，其中 $X_i = \nabla_\theta J(\theta; x^{(i)}, y^{(i)})$。
• 利用该梯度不确定性作为信号，检测模型是否可能已收敛至局部最优，其表现为低值（由于梯度中零均值高斯噪声所致）。
• 仅当梯度不确定性低于预设阈值时才触发参数采样，确保采样发生在局部极小值附近。
• 在采样步骤中应用带自适应噪声注入的随机梯度Langevin动力学（SGLD），以逃离局部模式并探索参数空间。
• 当梯度不确定性较高时，维持标准SGD更新，避免不必要的采样，从而保持训练效率。
• 通过在60个样本上进行蒙特卡洛采样，近似后验预测分布，以计算如熵等不确定性度量。

实验结果

研究问题

• RQ1 梯度不确定性能否作为可靠信号，在随机优化过程中检测收敛至局部最优？
• RQ2 将梯度不确定性纳入基于采样的贝叶斯推断是否能改进对模糊分布内样本的预测不确定性估计？
• RQ3 所提出的方法能否有效识别并为分布外输入分配更低置信度，优于基线方法？
• RQ4 在真实世界基准数据集上，该方法在不确定性估计质量方面与SGLD和基于dropout的贝叶斯近似相比如何？

主要发现

• 所提方法在混淆的MNIST数字（如4、5、7）上生成了多样化且校准良好的预测输出，概率集中在合理的误分类上，而基线方法则表现出过度自信。
• 在notMNIST分布外数据上，该方法生成了更平坦的预测后验分布，表明不确定性估计更可靠。
• 在分布外数据上的预测熵，该方法为1.355，显著高于SGLD（0.107）和dropout（0.665），证实了过度自信的减少。
• 在分布内MNIST数据上，该方法测试准确率达到98.05%，优于SGLD（95.34%），同时保持了良好的不确定性校准。
• 梯度不确定性能有效识别接近局部最优的区域，实现有针对性的采样，而无需全批量计算或接受步骤。
• 该方法计算高效，因为梯度不确定性仅在小批量上计算，避免了每次迭代中的全批量计算。