[论文解读] Training Binary Neural Networks using the Bayesian Learning Rule

Xiangming Meng, Roman Bachmann+1 more|arXiv (Cornell University)|Feb 25, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用 16

一句话总结

本文提出 BayesBiNN，一种基于贝叶斯学习规则的二值神经网络（BiNNs）训练方法，为基于梯度的方法（如 Straight-Through Estimator, STE）提供了原则性解释。通过将二值权重建模为伯努利分布并使用近似贝叶斯推断，BayesBiNN 实现了不确定性估计，在 CIFAR-10、CIFAR-100 和 MNIST 上达到最先进性能，并通过基于后验的先验有效缓解了持续学习中的灾难性遗忘。

ABSTRACT

Neural networks with binary weights are computation-efficient and hardware-friendly, but their training is challenging because it involves a discrete optimization problem. Surprisingly, ignoring the discrete nature of the problem and using gradient-based methods, such as the Straight-Through Estimator, still works well in practice. This raises the question: are there principled approaches which justify such methods? In this paper, we propose such an approach using the Bayesian learning rule. The rule, when applied to estimate a Bernoulli distribution over the binary weights, results in an algorithm which justifies some of the algorithmic choices made by the previous approaches. The algorithm not only obtains state-of-the-art performance, but also enables uncertainty estimation for continual learning to avoid catastrophic forgetting. Our work provides a principled approach for training binary neural networks which justifies and extends existing approaches.

研究动机与目标

• 为解决基于梯度的二值神经网络（BiNNs）训练缺乏原则性解释的问题，此类问题涉及离散优化。
• 开发一种方法，利用明确定义的贝叶斯优化框架，为现有方法（如 STE 和 Bop）中的算法选择提供理论依据。
• 通过基于后验近似的不确定性估计，将 BiNNs 扩展至持续学习。
• 在保持计算效率的同时，实现在标准基准上的最先进性能。

提出的方法

• 该方法使用伯努利分布对二值权重进行建模，并应用贝叶斯学习规则以近似这些权重的后验分布。
• 采用温度控制的 tanh 函数以可微方式近似符号函数，从而在反向传播中实现梯度流动。
• 该算法基于贝叶斯学习规则的变分推断框架，对后验进行随机近似。
• 一个关键创新是：在持续学习中，将前一任务的后验作为下一任务的先验，实现不确定性感知的自适应。
• 实值参数的更新规则中包含一个缩放项（s），其作用类似于自适应学习率，提升收敛性。
• 该方法通过将问题松弛为连续的、概率化的推断任务，避免了离散优化。

实验结果

研究问题

• RQ1 能否通过一个原则性的贝叶斯框架，解释基于梯度的方法（如 STE）在训练二值神经网络中的成功？
• RQ2 如何将不确定性估计整合到二值神经网络训练中，以改善持续学习？
• RQ3 现有方法（如 STE 和 Bop）中的算法选择是什么？能否通过贝叶斯推断实现理论上的根基？
• RQ4 能否利用二值权重的后验分布来缓解持续学习中的灾难性遗忘？

主要发现

• BayesBiNN 在 CIFAR-10、CIFAR-100 和 MNIST 上达到最先进性能，与使用 Adam 的 STE 表现相当或略优。
• 该方法通过二值权重的后验分布实现不确定性估计，随着任务数量增加，后验分布变得更集中（不确定性更低）。
• 在排列 MNIST 的持续学习中，使用前一任务的后验作为先验，显著减少了灾难性遗忘，优于固定先验。
• 权重概率的直方图显示熵随时间减少，表明权重随经验变得更加确定，反映出不确定性降低。
• 使用后验近似作为先验可使所有任务的性能保持稳定，而固定先验则导致早期任务性能迅速下降。