[论文解读] Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation

Manuel Haußmann, Fred A. Hamprecht+1 more|arXiv (Cornell University)|May 19, 2018

Gaussian Processes and Bayesian Inference参考文献 38被引用 9

一句话总结

本文提出了一种无需采样的变分推理方法，用于贝叶斯神经网络，通过方差反向传播实现解析可处理的证据下界（ELBO）计算，方法基于修正线性单元（ReLU）非线性的分解以及期望与方差的独立路径。该方法在逼近精度上优于蒙特卡洛或中心极限定理（CLT）方法，在回归与分类基准测试中表现出具有竞争力或更优的性能。

ABSTRACT

We propose a new Bayesian Neural Net formulation that affords variational inference for which the evidence lower bound is analytically tractable subject to a tight approximation. We achieve this tractability by (i) decomposing ReLU nonlinearities into the product of an identity and a Heaviside step function, (ii) introducing a separate path that decomposes the neural net expectation from its variance. We demonstrate formally that introducing separate latent binary variables to the activations allows representing the neural network likelihood as a chain of linear operations. Performing variational inference on this construction enables a sampling-free computation of the evidence lower bound which is a more effective approximation than the widely applied Monte Carlo sampling and CLT related techniques. We evaluate the model on a range of regression and classification tasks against BNN inference alternatives, showing competitive or improved performance over the current state-of-the-art.

研究动机与目标

• 解决基于蒙特卡洛的变分推理在贝叶斯神经网络中固有的计算低效与近似误差问题。
• 提出一种公式化方法，实现证据下界（ELBO）的解析计算，从而消除对随机采样的依赖。
• 在贝叶斯神经网络推理中，提升逼近质量，超越广泛使用的蒙特卡洛与中心极限定理（CLT）方法。
• 通过一种新型的修正线性单元（ReLU）激活函数的结构分解与方差路径，实现更高效、更精确的贝叶斯深度学习。

提出的方法

• 将修正线性单元（ReLU）非线性性分解为恒等函数与海维赛德阶跃函数的乘积，以实现对非线性性的解析处理。
• 引入独立的潜在路径，将网络期望的计算与方差的计算解耦，从而支持方差反向传播。
• 通过用二值潜在变量建模激活值，将神经网络似然表示为一系列线性运算的链式结构。
• 在分解后的结构上执行变分推理，以实现ELBO的解析计算，避免随机采样。
• 将解析计算的ELBO用作真实对数似然的紧致近似，从而在精度上优于基于采样的替代方法。
• 利用该结构实现端到端可微训练，无需蒙特卡洛采样，从而提升计算效率。

实验结果

研究问题

• RQ1 在贝叶斯神经网络中，是否可以不依赖蒙特卡洛采样而实现证据下界（ELBO）的解析计算？
• RQ2 将修正线性单元（ReLU）非线性性分解为恒等函数与阶跃函数分量，是否能实现更紧致且更易处理的变分推理？
• RQ3 引入独立的方差计算路径，是否能相比标准采样方法，提升ELBO近似的质量？
• RQ4 所提出的无采样方法在标准基准测试中，与最先进贝叶斯神经网络推理技术相比，性能如何？

主要发现

• 所提出的方法实现了贝叶斯神经网络中证据下界（ELBO）的解析计算，完全消除了对随机采样的依赖。
• 将ReLU分解为恒等函数与海维赛德函数分量，使得网络似然可表示为一系列线性运算的链式结构，从而实现可处理的推理。
• 独立的方差计算路径使ELBO近似比蒙特卡洛或中心极限定理（CLT）方法更紧致。
• 在多个回归与分类任务中，该方法在性能上达到或超越现有最先进贝叶斯神经网络推理方法。