[论文解读] ZhuSuan: A Library for Bayesian Deep Learning

Jiaxin Shi, Jianfei Chen+5 more|arXiv (Cornell University)|Sep 18, 2017

Gaussian Processes and Bayesian Inference参考文献 50被引用 36

一句话总结

ZhuSuan 是一个基于 TensorFlow 的 PyTorch 兼容概率编程库，专为贝叶斯深度学习而构建，支持灵活建模复杂概率模型，并通过可微分变分推断和蒙特卡洛方法实现高效贝叶斯推断。它通过提供模块化、透明且可组合的组件，将深度学习范式与贝叶斯方法统一，实现在 GPU 上端到端的概率建模与训练。

ABSTRACT

In this paper we introduce ZhuSuan, a python probabilistic programming library for Bayesian deep learning, which conjoins the complimentary advantages of Bayesian methods and deep learning. ZhuSuan is built upon Tensorflow. Unlike existing deep learning libraries, which are mainly designed for deterministic neural networks and supervised tasks, ZhuSuan is featured for its deep root into Bayesian inference, thus supporting various kinds of probabilistic models, including both the traditional hierarchical Bayesian models and recent deep generative models. We use running examples to illustrate the probabilistic programming on ZhuSuan, including Bayesian logistic regression, variational auto-encoders, deep sigmoid belief networks and Bayesian recurrent neural networks.

研究动机与目标

• 通过在深度神经网络中实现不确定性感知建模，弥合贝叶斯方法与深度学习之间的差距。
• 提供一个灵活、可组合且透明的框架，用于构建和训练概率模型，特别是涉及复杂层次结构和深度生成模型的模型。
• 在深度学习友好的计算图框架中，支持现代贝叶斯推断技术，尤其是可微分变分推断和蒙特卡洛采样。
• 克服现有概率编程库在处理控制流和模型复用方面的局限性，特别是在具有随机计算和复杂依赖关系的模型中。
• 通过开源、GPU 加速且可扩展的库，加速贝叶斯深度学习的研究与应用。

提出的方法

• ZhuSuan 基于 TensorFlow 的计算图构建，支持自动微分与 GPU 加速，实现概率模型的端到端训练。
• 它同时支持变分推断与蒙特卡洛方法，重点在于与深度学习优化兼容的可微分推断技术。
• 该库使用函数复用和上下文管理，而非图复制，以正确处理 tf.while_loop 和 tf.scan 等控制流操作。
• 它提供模块化原语用于定义概率模型，包括随机层和分布，全面支持层次贝叶斯模型与深度生成模型。
• 推断被表述为变分目标的优化，支持使用标准深度学习优化流水线的梯度优化训练。
• 设计强调透明性与可组合性，允许独立使用建模、推断与优化组件。

实验结果

研究问题

• RQ1 如何设计概率编程库，使其原生支持深度生成模型与贝叶斯神经网络，同时融入深度学习框架？
• RQ2 在具有复杂控制流与随机计算的模型中，实现可微分贝叶斯推断的关键架构与实现挑战是什么？
• RQ3 如何在概率编程中解耦模型复用与推断，以支持对层次化与深度概率模型的灵活且可组合的建模？
• RQ4 通过统一、GPU 加速的库，贝叶斯深度学习能在多大程度上实现与标准深度学习同等的易用性与效率？
• RQ5 一个原生集成于 TensorFlow 等深度学习框架的概率编程库，其性能与可扩展性特征如何？

主要发现

• ZhuSuan 通过统一的深度学习风格接口，成功实现了贝叶斯逻辑回归、变分自编码器、深度 Sigmoid 信念网络与贝叶斯 RNN 等贝叶斯模型的端到端训练。
• 该库支持 tf.while_loop 和 tf.scan 等复杂控制流操作，且无需图复制，这克服了 Edward 等其他库的限制。
• 通过避免图修改，依赖函数复用与上下文管理，ZhuSuan 确保了具有随机组件与层次结构的模型在正确性与模块性方面的保障。
• 与 PyMC3 仅限制于可重参数化设置不同，ZhuSuan 支持所有 VI 方法的可定制变分后验。
• 该库的设计实现了透明且可组合的工作流，允许用户独立组合建模、推断与优化组件，提升了代码的可读性与可维护性。
• ZhuSuan 已在 GitHub 上开源，并在广泛范围的贝叶斯深度学习任务中表现出有效性，显著加速了不确定性感知人工智能的研究与应用。