[论文解读] Robustly representing uncertainty in deep neural networks through sampling

Patrick McClure, Nikolaus Kriegeskorte|arXiv (Cornell University)|Nov 5, 2016

Adversarial Robustness in Machine Learning参考文献 14被引用 16

一句话总结

本文提出一种基于采样的方法，通过变分推断结合丢弃（dropout）与权重重置（dropconnect），鲁棒地表示深度神经网络中的不确定性。通过结合伯努利分布丢弃与高斯分布权重重置，该方法在不增加参数数量的前提下近似了尖刺-平滑（spike-and-slab）变分分布，相较于单独使用任一方法，实现了更高的测试准确率和更可靠的不确定性校准。

ABSTRACT

As deep neural networks (DNNs) are applied to increasingly challenging problems, they will need to be able to represent their own uncertainty. Modeling uncertainty is one of the key features of Bayesian methods. Using Bernoulli dropout with sampling at prediction time has recently been proposed as an efficient and well performing variational inference method for DNNs. However, sampling from other multiplicative noise based variational distributions has not been investigated in depth. We evaluated Bayesian DNNs trained with Bernoulli or Gaussian multiplicative masking of either the units (dropout) or the weights (dropconnect). We tested the calibration of the probabilistic predictions of Bayesian convolutional neural networks (CNNs) on MNIST and CIFAR-10. Sampling at prediction time increased the calibration of the DNNs' probabalistic predictions. Sampling weights, whether Gaussian or Bernoulli, led to more robust representation of uncertainty compared to sampling of units. However, using either Gaussian or Bernoulli dropout led to increased test set classification accuracy. Based on these findings we used both Bernoulli dropout and Gaussian dropconnect concurrently, which we show approximates the use of a spike-and-slab variational distribution without increasing the number of learned parameters. We found that spike-and-slab sampling had higher test set performance than Gaussian dropconnect and more robustly represented its uncertainty compared to Bernoulli dropout.

研究动机与目标

• 通过评估基于采样的变分推断方法，改进深度神经网络中的不确定性表征。
• 在图像分类任务中，比较不同变分分布（伯努利分布与高斯分布的丢弃、权重重置，以及尖刺-平滑近似）在性能与鲁棒性方面的表现。
• 开发一种参数高效的尖刺-平滑变分推断近似方法，结合伯努利分布丢弃与高斯分布权重重置。
• 通过在含噪声的测试输入上评估，分析这些方法在分布偏移下的泛化能力。

提出的方法

• 作者使用变分推断来近似网络权重的后验分布，通过最小化变分分布与真实后验之间的KL散度。
• 他们评估了多种采样策略：对单元（丢弃）或权重（权重重置）应用伯努利分布与高斯分布的乘性噪声。
• 在预测阶段使用蒙特卡洛采样，以估计预测不确定性并提升校准性能。
• 提出一种新方法，结合伯努利分布丢弃与高斯分布权重重置，以无额外参数增加的方式近似尖刺-平滑变分分布。
• 该方法在MNIST与CIFAR-10数据集上进行评估，测试集添加了高斯噪声以模拟分布偏移。
• 通过计算在不同噪声水平下，预测概率与实际标签频率之间的均方误差，评估校准性能。

实验结果

研究问题

• RQ1 在分布偏移条件下，预测阶段的采样如何影响深度神经网络预测的校准性？
• RQ2 在不确定性表征与测试准确率方面，伯努利分布与高斯分布、丢弃与权重重置等不同变分分布之间有何差异？
• RQ3 在不增加模型参数的前提下，能否通过结合伯努利分布丢弃与高斯分布权重重置，有效近似尖刺-平滑变分分布？
• RQ4 丢弃率与噪声方差的选择如何影响贝叶斯深度神经网络在含噪声输入下的鲁棒性与性能？

主要发现

• 在所有模型中，预测阶段的采样均一致地改善了概率预测的校准性，尤其在分布偏移条件下效果更显著。
• 在CIFAR-10上，高斯分布权重重置实现了最高的测试集准确率，但对输入噪声的鲁棒性低于伯努利分布丢弃。
• 伯努利分布丢弃与尖刺-平滑丢弃在输入噪声下表现出更强的鲁棒性，能在高方差扰动下维持更好的校准性。
• 所提出的伯努利分布丢弃与高斯分布权重重置的结合方法，有效近似了尖刺-平滑分布，其测试准确率高于高斯分布权重重置，且不确定性校准性能优于伯努利分布丢弃。
• 采用更高方差的丢弃调度策略时，采样带来的性能增益更显著，表明蒙特卡洛采样可降低对超参数选择的敏感性。
• 在CIFAR-10上，蒙特卡洛采样在高方差丢弃条件下带来了更显著的性能提升，表明其增强了正则化效果与模型稳定性。