[论文解读] Multiplicative Normalizing Flows for Variational Bayesian Neural Networks

Christos Louizos, Max Welling|arXiv (Cornell University)|Mar 6, 2017

Gaussian Processes and Bayesian Inference参考文献 40被引用 234

一句话总结

引入乘法正则化流（MNFs）以构建贝叶斯神经网络的灵活变分后验，在保持局部重参数化技巧的同时，提升相对于平均场方法的预测准确性与不确定性。

ABSTRACT

We reinterpret multiplicative noise in neural networks as auxiliary random variables that augment the approximate posterior in a variational setting for Bayesian neural networks. We show that through this interpretation it is both efficient and straightforward to improve the approximation by employing normalizing flows while still allowing for local reparametrizations and a tractable lower bound. In experiments we show that with this new approximation we can significantly improve upon classical mean field for Bayesian neural networks on both predictive accuracy as well as predictive uncertainty.

研究动机与目标

• 在标签数据稀缺时，推动神经网络中的鲁棒不确定性估计。
• 为具备灵活后验的贝叶斯神经网络开发可扩展的变分推断框架。
• 结合乘性噪声和归一化流来增强近似后验，同时不丢失局部重参数化的优势。
• 在 MNIST、CIFAR-10 以及简易回归任务上，评估 MNFs 相对于 dropout、深度集成以及先验/后验选择的表现。

提出的方法

• 以条件高斯分布 q(W|z) 来建模权重，其中 W 由来自 q(z) 的潜在变量 z 调制。
• 对 q(z) 应用归一化流（使用带掩码的 RealNVP，并带有 IAF 风格的更新）以丰富混合分布。
• 使用辅助分布 r(z|W) 来界定熵项并获得可处理的变分界。
• 保持局部重参数化以实现对变分目标的高效梯度优化。
• 推导在 MNFs 下，对全连接层和卷积层的 KL 散度界及实际前向传播。
• 提供将 z-flow 纳入层计算的前向传播算法（方程式 3–6）。

实验结果

研究问题

• RQ1 与均值场高斯后验相比，MNF 后验是否更好地近似权重的真实后验？
• RQ2 与标准贝叶斯神经网络方法（如 dropout、矩阵高斯）以及非贝叶斯基线相比，MNFs 是否提升预测准确性和经过校准的不确定性？
• RQ3 在对抗性攻击和分布外情景下，与其他不确定性方法相比，MNFs 的表现如何？
• RQ4 不同先验（高斯 vs 对数均匀）对基于 MNF 的不确定性与稀疏性有何影响？
• RQ5 MNFs 是否能够在提供优越的不确定性估计和效率的同时达到与深度集成相当的性能？

主要发现

• MNFs 在预测准确性和不确定性方面显著优于均值场后验。
• 基于 MNFs 的模型在 notMNIST 和 CIFAR-10 上提供了比 dropout 和深度集成更真实的预测不确定性（在所报告的设置中）。
• 在对抗扰动下，MNFs 展现出更高的预测不确定性，而不是像某些基线方法那样产生高置信度。
• 使用具有适当先验的 MNFs（例如高斯与对数均匀）会产生不同的稀疏性和不确定性特征，凸显先验选择的重要性。
• MNFs 在精度方面与 Dropout 相当，同时提供改进的不确定性表现，在某些设置下甚至可接近 Deep Ensembles 的性能。