[论文解读] Partitioned Variational Inference: A unified framework encompassing federated and continual learning

Thang D. Bui, Cuong V. Nguyen+2 more|arXiv (Cornell University)|Nov 27, 2018

Gaussian Processes and Bayesian Inference参考文献 8被引用 20

一句话总结

本文提出分区变分推断（PVI），一种统一框架，将全局与局部变分推断整合于多种算法选择之中，实现联邦学习与持续学习的高效可扩展解决方案。该方法展示了通信高效的贝叶斯神经网络训练与高斯过程的持续学习，性能优于最先进方法，同时保持实现简洁。

ABSTRACT

Variational inference (VI) has become the method of choice for fitting many modern probabilistic models. However, practitioners are faced with a fragmented literature that offers a bewildering array of algorithmic options. First, the variational family. Second, the granularity of the updates e.g. whether the updates are local to each data point and employ message passing or global. Third, the method of optimization (bespoke or blackbox, closed-form or stochastic updates, etc.). This paper presents a new framework, termed Partitioned Variational Inference (PVI), that explicitly acknowledges these algorithmic dimensions of VI, unifies disparate literature, and provides guidance on usage. Crucially, the proposed PVI framework allows us to identify new ways of performing VI that are ideally suited to challenging learning scenarios including federated learning (where distributed computing is leveraged to process non-centralized data) and continual learning (where new data and tasks arrive over time and must be accommodated quickly). We showcase these new capabilities by developing communication-efficient federated training of Bayesian neural networks and continual learning for Gaussian process models with private pseudo-points. The new methods significantly outperform the state-of-the-art, whilst being almost as straightforward to implement as standard VI.

研究动机与目标

• 在单一框架下统一多种不同的变分推断方法，解决文献中的碎片化问题。
• 通过实现高效、分布式与增量式推断，应对联邦学习与持续学习的挑战。
• 为变分推断中的算法选择（包括更新粒度与优化方法）提供系统化的方法。
• 识别适用于数据稀缺、分布式与流式学习环境的新型变分推断算法。
• 在真实基准（如MNIST与高斯过程模型）中展示基于PVI方法的实际优越性。

提出的方法

• PVI将变分目标划分为局部与全局两部分，实现计算效率与推断精度之间的灵活权衡。
• 通过将全局变分推断、局部变分推断与变分消息传递统一于单一优化框架中，推广现有方法。
• 该框架支持阻尼定点更新与自然梯度优化，将其与变分受限的幂EP（variationally-limited power EP）相联系。
• PVI支持小批量近似与超参数学习，提升大规模与流式数据的可扩展性。
• 通过将本地更新与全局聚合解耦，引入通信高效的联邦贝叶斯神经网络训练协议。
• 在持续学习中，PVI利用高斯过程中的私有伪点，实现无灾难性遗忘的增量适应。

实验结果

研究问题

• RQ1 如何在单一框架下正式统一全局与局部变分推断？
• RQ2 变分推断中更新粒度与优化方法之间的算法权衡为何？
• RQ3 PVI能否实现在联邦设置中通信轻量的贝叶斯神经网络高效训练？
• RQ4 PVI能否在保留先验知识的前提下支持高斯过程的持续学习？
• RQ5 在准确率与收敛速度方面，PVI优化方法相较于最先进方法表现如何？

主要发现

• PVI涵盖并推广了现有方法，包括全局VI、局部VI与幂EP，在碎片化的文献中建立了理论联系。
• 该框架实现了通信高效的联邦贝叶斯神经网络训练，在收敛速度与测试准确率方面显著优于先前方法。
• 对于高斯过程模型，结合私有伪点的PVI在持续学习中达到最先进性能，避免了灾难性遗忘。
• 在PVI下，随机自然梯度（SNGD）与基于Adam的训练表现相当，且SNGD使用固定学习率可实现稳定收敛。
• Adam与SNGD的最佳学习率均产生相似的训练与测试性能，表明在PVI下对超参数调优具有鲁棒性。
• 在MNIST上的实证结果表明，基于PVI的方法在800–1000个周期内即实现收敛，负对数似然与分类误差均较低。