[论文解读] Natural Posterior Network: Deep Bayesian Predictive Uncertainty for Exponential Family Distributions.

Bertrand Charpentier, Oliver Borchert+3 more|arXiv (Cornell University)|May 10, 2021

Gaussian Processes and Bayesian Inference参考文献 74被引用 12

一句话总结

该论文提出自然后验网络（NatPN），一种用于指数族分布中不确定性估计的深度贝叶斯方法，无需在训练过程中使用分布外（OOD）数据。通过使用归一化流（Normalizing Flows）建模特定任务的潜在空间，并基于预测的似然进行贝叶斯更新，NatPN在分类、回归和计数预测任务中均实现了高质量的不确定性量化，同时具备出色的OOD检测与校准性能。

ABSTRACT

Uncertainty awareness is crucial to develop reliable machine learning models. In this work, we propose the Natural Posterior Network (NatPN) for fast and high-quality uncertainty estimation for any task where the target distribution belongs to the exponential family. Thus, NatPN finds application for both classification and general regression settings. Unlike many previous approaches, NatPN does not require out-of-distribution (OOD) data at training time. Instead, it leverages Normalizing Flows to fit a single density on a learned low-dimensional and task-dependent latent space. For any input sample, NatPN uses the predicted likelihood to perform a Bayesian update over the target distribution. Theoretically, NatPN assigns high uncertainty far away from training data. Empirically, our extensive experiments on calibration and OOD detection show that NatPN delivers highly competitive performance for classification, regression and count prediction tasks.

研究动机与目标

• 开发一种可扩展且可靠的机器学习模型不确定性估计方法，无需在训练过程中依赖分布外（OOD）数据。
• 为涉及指数族分布的任务（包括分类与回归）提供贝叶斯不确定性量化能力。
• 通过在低维、任务相关的潜在空间中使用归一化流，有效建模预测不确定性。
• 确保对远离训练数据的输入分配更高的不确定性，从而提升 OOD 检测能力。
• 在多样化的回归与分类任务中实现具有竞争力的校准性能与不确定性估计表现。

提出的方法

• NatPN 使用归一化流在从输入特征导出的低维、任务相关的潜在空间上学习单一密度分布。
• 模型在自然参数空间中预测目标分布的似然，从而通过共轭先验实现贝叶斯更新。
• 对于每个输入，NatPN 利用预测的似然执行贝叶斯更新，以计算参数的后验分布。
• 该方法基于指数族框架，适用于高斯、泊松、伯努利及其他标准分布。
• 潜在空间在训练过程中端到端学习，适应特定任务并减少分布假设。
• 训练时无需 OOD 数据，因为不确定性自然源于基于似然的贝叶斯更新。

实验结果

研究问题

• RQ1 我们能否在不依赖训练阶段 OOD 数据的情况下，实现对指数族分布的高质量不确定性估计？
• RQ2 NatPN 在多样化回归与分类任务中的校准性能与 OOD 检测表现如何？
• RQ3 在学习得到的潜在空间上使用单一密度分布，能否有效建模多样化预测任务中的复杂不确定性模式？
• RQ4 NatPN 是否如理论上预期的那样，对远离训练分布的输入分配更高的不确定性？
• RQ5 与现有贝叶斯深度学习方法相比，NatPN 在不确定性质量与计算效率方面表现如何？

主要发现

• NatPN 在分类、回归与计数预测任务中的不确定性校准方面表现出高度竞争力。
• 该模型在无需训练阶段使用 OOD 数据的情况下，展现出强大的分布外（OOD）检测性能。
• NatPN 对远离训练分布的输入分配了较高的不确定性，与理论预期一致。
• 在特定任务的潜在空间中使用归一化流，实现了灵活且精确的不确定性建模。
• NatPN 在包括高斯、伯努利与泊松在内的多种指数族分布中均保持了高质量的不确定性估计。
• 该方法在不确定性量化方面实现了最先进或具有竞争力的性能，同时避免了对 OOD 数据的依赖。