[论文解读] Tractable Approximate Gaussian Inference for Bayesian Neural Networks

James A. Goulet, Luong Ha Nguyen+1 more|PolyPublie (École Polytechnique de Montréal)|Apr 20, 2020

Gaussian Processes and Bayesian Inference参考文献 34被引用 6

一句话总结

本文提出可 tractable 近似高斯推理（TAGI），一种用于贝叶斯神经网络的新型解析方法，可在 O(n) 复杂度下精确计算权重和偏置的后验均值与对角协方差。TAGI 在回归和 MNIST 分类基准上实现了最先进性能，无需反向传播，其精度与基于梯度的方法相当，同时支持高效、具备不确定性感知的在线推理。

ABSTRACT

In this paper, we propose an analytical method for performing tractable approximate Gaussian inference (TAGI) in Bayesian neural networks. The method enables the analytical Gaussian inference of the posterior mean vector and diagonal covariance matrix for weights and biases. The method proposed has a computational complexity of $\mathcal{O}(n)$ with respect to the number of parameters $n$, and the tests performed on regression and classification benchmarks confirm that, for a same network architecture, it matches the performance of existing methods relying on gradient backpropagation.

研究动机与目标

• 开发一种可 tractable 的解析方法，用于贝叶斯神经网络中的近似高斯推理，避免使用反向传播。
• 在参数数量上实现线性复杂度 O(n) 的高效计算，以获得网络权重和偏置的后验均值与对角协方差。
• 在低数据、持续学习和在线推理场景中支持不确定性量化，这些场景下点估计方法表现不足。
• 在回归和分类基准上，将该方法的性能与现有基于梯度的方法进行验证。

提出的方法

• 该方法利用矩生成函数并线性化激活函数，以解析方式将不确定性前向传播通过网络。
• 通过在各层递归应用高斯假设，对隐藏单元和参数执行可 tractable 的、逐层推理。
• 该方法利用神经网络中的条件独立性，实现与参数数量成线性关系的存储和计算复杂度。
• 将权重和偏置的先验建模为多变量正态分布，并使用闭式表达式解析计算后验分布。
• 通过将观测噪声建模为具有学习方差的独立高斯变量，该方法可同时处理回归和分类任务。
• 通过在验证集上进行早停和超参数调优来优化泛化性能，结果对多个随机初始化进行平均。

实验结果

研究问题

• RQ1 能否为贝叶斯神经网络开发一种具有线性复杂度和高精度的、非基于反向传播的解析推理方法？
• RQ2 TAGI 在回归和分类任务中与基于梯度的贝叶斯神经网络方法相比表现如何？
• RQ3 该方法在低数据场景下对不确定性量化和在线学习的支持程度如何？
• RQ4 TAGI 的性能对训练过程中小批量大小和观测噪声方差的敏感程度如何？

主要发现

• 在每隐藏层使用 800 个神经元和 14 个最优训练轮次的情况下，TAGI 在 MNIST 上实现了 1.54% 的测试误差，与类似架构的最先进结果相当。
• 对于相同架构，当使用 100 个神经元和 21 个最优训练轮次时，该方法实现了 2.29% 的误差，表明其在小型网络上也表现出色。
• 性能在不同小批量大小下保持稳定，当使用 B=10 时仅出现轻微退化，表明对小批量大小具有鲁棒性。
• 在使用较大小批量时，该方法对权重初始化的敏感度较低，但当 B=1 时，性能对 σV 和初始化更为敏感。
• 尽管未使用反向传播，该方法在精度上与 Bayes by Backprop 和变分消息传递等基于梯度的方法相当。
• 计算复杂度随参数数量线性增长，使其适用于实时和在线学习应用。