[论文解读] Towards Bayesian Deep Learning: A Framework and Some Existing Methods

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|Aug 24, 2016

Image Retrieval and Classification Techniques参考文献 45被引用 16

一句话总结

本文提出了一种统一的贝叶斯深度学习（BDL）框架，将深度学习用于感知，概率图模型用于推理，实现双向信息交换。通过结合贝叶斯神经网络与结构化概率模型，BDL在推荐、医学诊断和动态系统控制等任务中通过合理处理不确定性以及感知与推理组件之间的相互反馈，提升了性能。

ABSTRACT

While perception tasks such as visual object recognition and text understanding play an important role in human intelligence, the subsequent tasks that involve inference, reasoning and planning require an even higher level of intelligence. The past few years have seen major advances in many perception tasks using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. To achieve integrated intelligence that involves both perception and inference, it is naturally desirable to tightly integrate deep learning and Bayesian models within a principled probabilistic framework, which we call Bayesian deep learning. In this unified framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in return, the feedback from the inference process is able to enhance the perception of text or images. This paper proposes a general framework for Bayesian deep learning and reviews its recent applications on recommender systems, topic models, and control. In this paper, we also discuss the relationship and differences between Bayesian deep learning and other related topics like Bayesian treatment of neural networks.

研究动机与目标

• 通过将深度学习与概率图模型（PGM）结合，解决深度学习在处理不确定性与推理方面的局限性。
• 构建一个原则化的概率框架，统一基于深度学习的感知（perception）与基于PGM的推理（inference），以应对复杂人工智能任务。
• 在感知与推理组件之间实现双向反馈，以提升真实应用场景中的性能表现。
• 设计一种可扩展且灵活的架构，利用神经网络参数化概率组件，实现贝叶斯深度学习。

提出的方法

• 提出一种通用的BDL框架，其中深度学习模型作为感知组件，PGM作为任务特定的推理组件。
• 使用贝叶斯神经网络对潜在表示建模，并引入先验分布，以实现不确定性量化与正则化。
• 利用神经网络参数化关键概率组件——编码、转移与重构——以学习复杂且非线性的映射关系。
• 应用随机梯度变分贝叶斯（SGVB）及相关推理算法，高效训练联合模型。
• 设计独立的神经网络用于建模潜在变量的均值与协方差，相较于固定方差的替代方案更具灵活性。
• 实现双向信息流：感知为推理提供输入，推理的反馈又可改进感知（例如在医学图像解释或控制任务中）。

实验结果

研究问题

• RQ1 如何在单一、原则化的概率框架内系统性地整合深度学习与概率图模型？
• RQ2 在将贝叶斯神经网络与结构化PGM结合时，面临的关键架构与推理挑战是什么？
• RQ3 感知与推理之间的双向反馈在推荐与控制等任务中如何提升性能？
• RQ4 贝叶斯深度学习相较于标准深度学习，在不确定性估计与泛化能力方面有何优势？

主要发现

• BDL框架实现了基于深度学习的感知与基于PGM的推理之间的协同作用，显著提升了复杂任务的性能表现。
• 采用神经网络参数化概率组件（如潜在变量的均值与协方差）的BDL模型，相较于固定结构模型具有更高的灵活性。
• 在网络权重上施加贝叶斯先验可实现隐式正则化，有效减少过拟合，尤其在数据量较少的场景下表现更优。
• 基于BDL的控制模型通过利用潜在状态转移与图像重构，借助迭代的感知-推理循环，实现了对动态系统的有效视频驱动控制。
• 在推荐系统、主题建模与随机控制等应用中，该框架展现出良好的通用性与性能提升。
• 随机梯度变分贝叶斯及相关推理算法支持BDL模型的可扩展训练，为真实世界部署提供了可行性。