[论文解读] Some models are useful, but how do we know which ones? Towards a unified Bayesian model taxonomy

Paul‐Christian Bürkner, Maximilian Scholz+1 more|arXiv (Cornell University)|Sep 6, 2022

Bayesian Modeling and Causal Inference被引用 8

一句话总结

本文提出了PAD模型分类法，通过将贝叶斯模型分类为联合分布（P）、后验近似器（A）和训练数据（D）的组合，明确界定其本质，从而澄清了贝叶斯模型的定义。此外，本文提出了十个实用维度——如因果一致性、参数可恢复性及预测性能——以全面评估模型质量，并通过实用树结构指导基于推断目标的权衡，为贝叶斯模型构建提供了一个系统化框架。

ABSTRACT

Probabilistic (Bayesian) modeling has experienced a surge of applications in almost all quantitative sciences and industrial areas. This development is driven by a combination of several factors, including better probabilistic estimation algorithms, flexible software, increased computing power, and a growing awareness of the benefits of probabilistic learning. However, a principled Bayesian model building workflow is far from complete and many challenges remain. To aid future research and applications of a principled Bayesian workflow, we ask and provide answers for what we perceive as two fundamental questions of Bayesian modeling, namely (a) "What actually is a Bayesian model?" and (b) "What makes a good Bayesian model?". As an answer to the first question, we propose the PAD model taxonomy that defines four basic kinds of Bayesian models, each representing some combination of the assumed joint distribution of all (known or unknown) variables (P), a posterior approximator (A), and training data (D). As an answer to the second question, we propose ten utility dimensions according to which we can evaluate Bayesian models holistically, namely, (1) causal consistency, (2) parameter recoverability, (3) predictive performance, (4) fairness, (5) structural faithfulness, (6) parsimony, (7) interpretability, (8) convergence, (9) estimation speed, and (10) robustness. Further, we propose two example utility decision trees that describe hierarchies and trade-offs between utilities depending on the inferential goals that drive model building and testing.

研究动机与目标

• 澄清贝叶斯模型的根本性质，因为其在实践中常被模糊定义。
• 解决传统标准（如拟合度或预测性能）之外缺乏统一框架来评估贝叶斯模型的问题。
• 通过识别核心评估维度及其层级关系，建立贝叶斯模型构建的系统化工作流程。
• 为科学与工业各领域提供可通用的分类法与评估框架，适用于概率建模。
• 通过结构化的实用层级与权衡分析，指导研究者根据推断目标选择模型。

提出的方法

• 提出PAD模型分类法，将贝叶斯模型分类为P（联合分布）、A（后验近似器）和D（训练数据）的组合，区分出四种不同的模型类型。
• 引入十个用于评估贝叶斯模型的实用维度：因果一致性、参数可恢复性、预测性能、公平性、结构忠实度、简约性、可解释性、收敛性、估计速度与鲁棒性。
• 构建实用树结构，编码实用维度之间的层级关系与权衡，区分可观测与潜在的推断目标。
• 通过模拟研究与理论分析评估参数可恢复性与收敛性，尤其针对具有隐式似然或摊销近似器的复杂模型。
• 在多种算法（MCMC、优化、SMC、ABC、摊销）中应用收敛性诊断，评估后验近似结果的可靠性。
• 在因果一致模型中，将预测性能作为参数可恢复性的代理指标，尤其在真实参数未知时。

实验结果

研究问题

• RQ1 在现代复杂应用中，贝叶斯模型的定义超越简单似然与先验后，其本质是什么？
• RQ2 如何系统性地评估贝叶斯模型的质量，而不仅依赖于预测准确性？
• RQ3 不同模型实用维度之间的关键权衡是什么？它们如何随推断目标而变化？
• RQ4 在缺乏真实参数的情况下，预测性能能否可靠地作为参数可恢复性的代理？
• RQ5 如何构建模型评估结构，以在现实应用中优先保障因果一致性和结构忠实度？

主要发现

• PAD模型分类法清晰地将贝叶斯模型分类为P（联合分布）、A（后验近似器）和D（训练数据）的组合，解决了模型定义中的模糊性。
• 因果一致性被确定为最高优先级的实用维度，尤其在处理潜在推断目标时，可防止即使预测性能良好但推断结果误导的情况。
• 当真实参数不可用时，参数可恢复性最佳通过模拟或数学分析评估，其为关键但间接可测量的实用维度。
• 预测性能仅在因果一致模型中可作为参数可恢复性的有效代理，以确保模型改进反映真实的参数估计而非虚假拟合。
• 估计速度与收敛性诊断在不同算法间差异显著，其中摊销近似器可实现更快推理，但收敛性监控复杂度更高。
• 简约性与结构忠实度作为辅助实用维度，有助于在直接评估参数可恢复性不可行时平衡模型复杂性与可解释性。