[论文解读] Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models

Daniel T. Chang|arXiv (Cornell University)|May 31, 2021

Gaussian Processes and Bayesian Inference参考文献 10被引用 10

一句话总结

本文通过区分两种方法，提出了一种统一的概率深度学习框架：概率神经网络（PNNs），通过概率层嵌入不确定性；以及深度概率模型（DPMs），将深度神经网络整合到概率图模型中。它展示了如何使用TensorFlow Probability实现两种方法的不确定性感知深度学习，应用包括贝叶斯神经网络、变分自编码器和深度高斯过程。

ABSTRACT

Probabilistic deep learning is deep learning that accounts for uncertainty, both model uncertainty and data uncertainty. It is based on the use of probabilistic models and deep neural networks. We distinguish two approaches to probabilistic deep learning: probabilistic neural networks and deep probabilistic models. The former employs deep neural networks that utilize probabilistic layers which can represent and process uncertainty; the latter uses probabilistic models that incorporate deep neural network components which capture complex non-linear stochastic relationships between the random variables. We discuss some major examples of each approach including Bayesian neural networks and mixture density networks (for probabilistic neural networks), and variational autoencoders, deep Gaussian processes and deep mixed effects models (for deep probabilistic models). TensorFlow Probability is a library for probabilistic modeling and inference which can be used for both approaches of probabilistic deep learning. We include its code examples for illustration.

研究动机与目标

• 阐明在不确定性感知深度学习背景下，概率神经网络（PNNs）与深度概率模型（DPMs）之间的区别。
• 全面概述关键架构，如贝叶斯神经网络、混合密度网络、变分自编码器、深度高斯过程和深度混合效应模型。
• 展示使用TensorFlow Probability实现PNN和DPM方法的实际应用。
• 解决在真实世界机器学习应用中同时考虑数据不确定性与模型不确定性的需求。

提出的方法

• 提出概率神经网络（PNNs），通过使用概率层在深层网络中表示和传播不确定性。
• 引入深度概率模型（DPMs），将深度神经网络与概率图模型结合，以捕捉复杂、非线性的随机关系。
• 在PNNs中采用贝叶斯推断技术量化模型不确定性，特别是通过神经网络权重的分布。
• 在DPMs（如变分自编码器和深度高斯过程）中应用变分推断和摊销推断，将概率建模扩展到高维数据。
• 利用TensorFlow Probability作为统一库，实现并训练具有端到端可微概率层的PNN和DPM架构。
• 展示两种方法的代码示例，说明如何定义概率层、执行后验推断，并做出不确定性感知的预测。

实验结果

研究问题

• RQ1 如何扩展深度神经网络，以显式建模和传播预测中的不确定性？
• RQ2 概率神经网络与深度概率模型在架构和方法上的关键差异是什么？
• RQ3 贝叶斯神经网络和混合密度网络如何在回归和分类任务中实现不确定性量化？
• RQ4 变分自编码器和深度高斯过程在何种方式下利用深度神经网络对复杂、非线性的随机依赖关系进行建模？
• RQ5 如何有效使用TensorFlow Probability在实践中实现并扩展PNN和DPM方法？

主要发现

• 概率神经网络（PNNs）通过在网络权重上设置先验分布并执行贝叶斯推断，有效建模了参数不确定性，从而实现不确定性感知的预测。
• 深度概率模型（DPMs），如变分自编码器和深度高斯过程，成功利用深度神经网络组件捕捉了变量之间的复杂、非线性随机关系。
• PNN中的混合密度网络（MDNs）能够对多模态输出分布进行建模，提升了在具有复杂条件密度的回归任务中的性能。
• DPM中的变分自编码器（VAEs）通过学习具有不确定性传播的结构化潜在空间，有效实现了高维数据的生成建模。
• 深度高斯过程（DGPs）在建模分层和非线性系统中的不确定性方面表现出色，尤其在具有复杂不确定性结构的回归和分类任务中。
• TensorFlow Probability支持PNN和DPM方法的一致且可扩展的实现，支持具有概率层的端到端训练和推断。