[论文解读] The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks

Jakub Świątkowski, Kevin A. Roth+8 more|arXiv (Cornell University)|Feb 7, 2020

Gaussian Processes and Bayesian Inference参考文献 51被引用 22

一句话总结

本文提出 k-tied 正态分布，通过在后验标准差矩阵上施加低秩结构，实现贝叶斯神经网络中高斯均场变分后验的紧凑参数化。通过低秩 SVD 绑定参数，该方法减少了变分参数数量，提升了梯度信噪比，并在不损失多种模型预测性能的前提下加速了训练。

ABSTRACT

Variational Bayesian Inference is a popular methodology for approximating posterior distributions over Bayesian neural network weights. Recent work developing this class of methods has explored ever richer parameterizations of the approximate posterior in the hope of improving performance. In contrast, here we share a curious experimental finding that suggests instead restricting the variational distribution to a more compact parameterization. For a variety of deep Bayesian neural networks trained using Gaussian mean-field variational inference, we find that the posterior standard deviations consistently exhibit strong low-rank structure after convergence. This means that by decomposing these variational parameters into a low-rank factorization, we can make our variational approximation more compact without decreasing the models' performance. Furthermore, we find that such factorized parameterizations improve the signal-to-noise ratio of stochastic gradient estimates of the variational lower bound, resulting in faster convergence.

研究动机与目标

• 探究在贝叶斯神经网络中，更简单、紧凑的变分后验参数化是否能优于更丰富的参数化形式。
• 解决标准高斯均场变分推断中参数量过高和梯度噪声过大的问题。
• 探索后验标准差中的低秩结构是否能实现有效的参数绑定而不损失性能。
• 开发一种在保持预测准确性与收敛速度的同时，减少内存与计算开销的参数化方法。

提出的方法

• k-tied 正态分布将后验标准差矩阵参数化为低秩 SVD 分解，从而减少自由参数数量。
• 通过标准差矩阵的秩-k 因子分解，在权重间施加绑定结构，其中 k 远小于原始维度。
• 该方法将此因子分解应用于均场变分推断中的对角协方差矩阵，保持独立性假设的同时减少参数数量。
• 通过可微分 ELBO 近似上的随机梯度下降优化变分参数，参数绑定使梯度方差降低。
• 该方法兼容全连接层与卷积层，且可与现有方差缩减技术结合使用。
• 该方法与矩阵 variate 高斯分布不同，因其支持秩 >1 的绑定，而该框架无法表示此类结构。

实验结果

研究问题

• RQ1 对后验标准差矩阵进行低秩参数化，是否能在贝叶斯神经网络中保持或提升模型性能？
• RQ2 通过参数绑定减少变分参数数量，是否能提升 ELBO 梯度估计的信噪比？
• RQ3 在多种贝叶斯神经网络架构中，学习到的后验标准差是否表现出一致的低秩结构？
• RQ4 紧凑参数化是否能在训练速度与泛化能力方面优于标准均场变分推断？
• RQ5 k-tied 正态分布是否与现有训练技术兼容，并可扩展至更深的模型？

主要发现

• 在训练后的贝叶斯神经网络中，后验标准差矩阵始终表现出显著的低秩结构，支持有效的参数绑定。
• k-tied 正态分布显著减少了变分参数数量，同时保持或提升了 ELBO 与预测性能。
• 通过低秩 SVD 实现的参数绑定提升了随机梯度估计的信噪比，从而加快了训练收敛速度。
• 在多种模型类型中，该方法在训练效率与泛化能力方面均优于标准均场变分推断。
• 当秩 >1 时，k-tied 方法无法在矩阵 variate 高斯框架中表示，确立了一个独特且更具表达力的参数化类别。
• 该方法与现有方差缩减技术兼容，可结合使用以进一步提升训练稳定性。