[论文解读] Towards Bayesian Deep Learning: A Survey

Hao Wang, Dit‐Yan Yeung|arXiv (Cornell University)|Apr 6, 2016

Image Retrieval and Classification Techniques参考文献 66被引用 28

一句话总结

本综述将贝叶斯深度学习引入为一个统一框架，将深度学习用于感知，同时结合贝叶斯概率模型用于推理、推断和规划。通过在感知与推理之间实现双向反馈，该框架在推荐、主题建模和控制等任务中提升了性能，为集成人工智能提供了原则性方法。

ABSTRACT

While perception tasks such as visual object recognition and text understanding play an important role in human intelligence, the subsequent tasks that involve inference, reasoning and planning require an even higher level of intelligence. The past few years have seen major advances in many perception tasks using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. To achieve integrated intelligence that involves both perception and inference, it is naturally desirable to tightly integrate deep learning and Bayesian models within a principled probabilistic framework, which we call Bayesian deep learning. In this unified framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in return, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a general introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, and control. In this survey, we also discuss the relationship and differences between Bayesian deep learning and other related topics like Bayesian treatment of neural networks.

研究动机与目标

• 弥合感知中的深度学习与推理中的贝叶斯模型之间的差距，实现集成人工智能。
• 提出一个原则性的概率框架，统一深度学习与贝叶斯方法，以支持更高级的认知任务。
• 展示推理反馈如何提升感知性能，反之亦然，从而整体提升系统性能。
• 阐明贝叶斯深度学习与相关方法（如贝叶斯神经网络）之间的区别与协同效应。

提出的方法

• 将贝叶斯深度学习形式化为统一的概率框架，结合深度神经网络与贝叶斯推断，实现感知与推理的联合处理。
• 利用深度学习进行图像和文本理解等感知任务中的特征提取。
• 应用具有贝叶斯先验的概率图模型，以建模不确定性，并支持推理、规划与推断。
• 实现双向反馈：利用推断结果优化感知，同时利用改进的感知提升推断准确性。
• 在统一框架中利用变分推断与蒙特卡洛方法，近似处理难以计算的后验分布。
• 将该框架应用于推荐系统、主题建模和基于强化学习的控制等实际任务。

实验结果

研究问题

• RQ1 如何在单一概率框架内整合深度学习与贝叶斯模型，以同时支持感知与高层推理？
• RQ2 贝叶斯深度学习与对神经网络的贝叶斯处理之间，关键区别与协同效应是什么？
• RQ3 推理反馈在实践中如何改善感知？感知性能的提升又如何增强推理？
• RQ4 贝叶斯深度学习在推荐系统和控制任务等实际应用中的表现如何？

主要发现

• 贝叶斯深度学习实现了一个统一框架，其中深度学习增强感知，贝叶斯模型改进推理，从而构建出更稳健且可解释的AI系统。
• 将深度学习与贝叶斯推断相结合，可实现不确定性量化，并在复杂任务中提升泛化能力。
• 在推荐系统中的应用表明，贝叶斯深度学习模型能更好地捕捉用户偏好与项目不确定性。
• 在主题建模中，该框架通过结合深度表征学习与概率主题推断，提升了可解释性与性能。
• 在控制任务中，感知与推理之间的反馈回路增强了不确定性下的决策能力。
• 综述指出，贝叶斯深度学习与标准贝叶斯神经网络不同，其在集成认知建模方面具有更广泛的应用前景。