[论文解读] Walsh-Hadamard Variational Inference for Bayesian Deep Learning

Simone Rossi, Sébastien Marmin+1 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 63被引用 4

一句话总结

本文提出沃尔什-哈达玛变分推断（whvi），一种利用沃尔什-哈达玛变换对贝叶斯深度神经网络中的权重矩阵进行分解的方法，将参数量从 O(D²) 降低至 O(D)，并将计算复杂度从 O(D²) 降低至 O(D log D)。该方法通过引入复杂度显著降低的矩阵变参数后验近似，缓解了变分推断中的过正则化问题，在多个基准数据集上实现了最先进性能，并实现了显著的速度提升。

ABSTRACT

Over-parameterized models, such as DeepNets and ConvNets, form a class of models that are routinely adopted in a wide variety of applications, and for which Bayesian inference is desirable but extremely challenging. Variational inference offers the tools to tackle this challenge in a scalable way and with some degree of flexibility on the approximation, but for over-parameterized models this is challenging due to the over-regularization property of the variational objective. Inspired by the literature on kernel methods, and in particular on structured approximations of distributions of random matrices, this paper proposes Walsh-Hadamard Variational Inference (WHVI), which uses Walsh-Hadamard-based factorization strategies to reduce the parameterization and accelerate computations, thus avoiding over-regularization issues with the variational objective. Extensive theoretical and empirical analyses demonstrate that WHVI yields considerable speedups and model reductions compared to other techniques to carry out approximate inference for over-parameterized models, and ultimately show how advances in kernel methods can be translated into advances in approximate Bayesian inference.

研究动机与目标

• 为了解决在贝叶斯 DNN 和 CNN 等过参数化模型中变分推断的过正则化问题，其中由于高维参数空间的存在，KL 散度项主导了目标函数。
• 在保持或提升模型灵活性的同时，降低深度学习中变分后验近似的参数与计算复杂度。
• 利用受核方法启发的结构化矩阵分解——特别是沃尔什-哈达玛变换——以实现在深度模型中可扩展且高效的贝叶斯推断。
• 证明具有对数线性复杂度的矩阵变参数后验近似可在速度与性能上超越标准均值场方法及其他因子分解方法。

提出的方法

• 该方法通过沃尔什-哈达玛变换对权重矩阵进行结构化分解，将 D×D 权重矩阵的变分参数数量从 O(D²) 降低至 O(D)。
• 提出一种基于逆沃尔什-哈达玛变换的重参数化技巧，以实现对变分后验的可微采样。
• 推导出一种局部重参数化技巧以降低梯度方差，从而实现每层计算复杂度为 O(D log D) 的高效随机优化。
• 后验被建模为通过沃尔什-哈达玛变换诱导出低秩结构的矩阵变正态分布，从而在不增加复杂度的前提下提升灵活性。
• 该方法借鉴了随机矩阵理论及核方法相关工作（如 Fastfood 和正交随机特征），并将其适配至深度学习中的变分推断。
• 该方法应用于贝叶斯 DNN 和 CNN，并在多个分类基准上进行了实验验证。

实验结果

研究问题

• RQ1 基于沃尔什-哈达玛变换的结构化矩阵分解能否降低过参数化深度模型中变分推断的参数量与计算成本？
• RQ2 所提出的 whvi 方法是否能缓解变分目标中 KL 散度项导致的过正则化问题？
• RQ3 在准确率、不确定性校准与训练速度方面，whvi 与均值场变分推断及其他矩阵分解技术相比表现如何？
• RQ4 具有对数线性复杂度的矩阵变参数后验近似能否在贝叶斯深度学习中超越标准均值场近似方法？

主要发现

• 在六个分类数据集上，whvi 达到了最先进水平的测试误差率，例如在使用 256 个隐藏单元的 drive 数据集上，误差率低至 0.01±0.00。
• 在 eeg 数据集上，whvi 在使用 512 个隐藏单元时达到 0.17±0.01 的测试误差，优于所有基线方法，包括蒙特卡洛 Dropout 和标准均值场 VI。
• 在 magic 数据集上，whvi 在所有模型规模下均达到 0.13±0.01 的测试误差，准确率与不确定性校准（MNLL）方面均匹配或超越其他方法。
• 该方法将参数量从 O(D²) 降低至 O(D)，并将计算复杂度从 O(D²) 降低至 O(D log D)，显著提升了训练与推理速度。
• 在负对数似然（NLL）方面，whvi 在多个数据集上取得了最低值，例如在使用 512 个单元的 miniboo 数据集上达到 0.31±0.01，表明其不确定性估计更优。
• 消融研究证实，whvi 在相同复杂度下优于其他低秩分解策略，证明了沃尔什-哈达玛结构的有效性。