[论文解读] Prediction can be safely used as a proxy for explanation in causally consistent Bayesian generalized linear models

Maximilian Scholz, Paul‐Christian Bürkner|arXiv (Cornell University)|Oct 13, 2022

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文研究了在贝叶斯广义线性模型中，预测是否可以作为解释的可靠代理。通过大规模模拟，发现只有当模型与真实数据生成过程在因果上一致时，预测才是解释的有效代理，凸显了因果性作为模型选择中预测与解释之间关键纽带的作用。

ABSTRACT

Bayesian modeling provides a principled approach to quantifying uncertainty in model parameters and model structure and has seen a surge of applications in recent years. Within the context of a Bayesian workflow, we are concerned with model selection for the purpose of finding models that best explain the data, that is, help us understand the underlying data generating process. Since we rarely have access to the true process, all we are left with during real-world analyses is incomplete causal knowledge from sources outside of the current data and model predictions of said data. This leads to the important question of when the use of prediction as a proxy for explanation for the purpose of model selection is valid. We approach this question by means of large-scale simulations of Bayesian generalized linear models where we investigate various causal and statistical misspecifications. Our results indicate that the use of prediction as proxy for explanation is valid and safe only when the models under consideration are sufficiently consistent with the underlying causal structure of the true data generating process.

研究动机与目标

• 确定在何种条件下预测可在贝叶斯模型选择中作为解释的可靠代理。
• 在各种因果和统计误设条件下，研究预测性能与参数可恢复性（解释）之间的关系。
• 评估因果性是否作为统计建模中连接预测与解释的缺失关键环节。
• 开发并验证一个用于在受控因果结构下研究贝叶斯模型性能的模拟框架。
• 提供实证证据，说明在何种条件下基于预测的模型选择能够产生同样能解释底层数据生成过程的模型。

提出的方法

• 在受控的、已知的数据生成过程（DGPs）下，对贝叶斯广义线性模型进行大规模模拟。
• 系统性地改变因果结构和统计假设，以评估模型在误设情况下的表现。
• 使用样本外预测准确率衡量预测性能（PP），并将参数可恢复性（PR）作为解释的代理。
• 比较具有不同因果假设的模型之间的PP与PR，以评估二者之间的关系。
• 使用为模拟研究开发的R包，以确保实验设置的可重现性和可扩展性。
• 应用交叉验证和样本外预测指标来评估预测性能，同时考虑模型不确定性。

Figure 1: High-level overview of our conceptual framework that connects explanation and prediction in statistical modeling. See Section 1.1 for further details.

实验结果

研究问题

• RQ1 在何种条件下，预测可作为贝叶斯模型选择中解释的有效代理？
• RQ2 假设与真实数据生成过程之间的因果一致性如何影响预测与解释之间的关系？
• RQ3 当因果结构不同时，预测性能提升是否必然意味着更好的参数可恢复性？
• RQ4 数据生成过程中不同的似然形状如何影响预测与解释之间的关系？
• RQ5 先验分布或正则化在多大程度上影响模型评估中预测与解释之间的关联？

主要发现

• 只有当模型与真实数据生成过程在因果上一致时，预测才能安全地作为解释的代理。
• 当因果结构一致时，预测性能的提升与解释能力的提升相关联，表明两者之间存在强烈关联。
• 在存在因果误设（如包含后门因子）的情况下，预测性能可能提升而解释能力却下降，从而破坏代理假设。
• 当模型在基本因果假设上不同时，即使所有模型均无偏，预测与解释之间的关系也会瓦解。
• 在某些情形下（如真阳性/真阴性率），存在下限和上限效应，限制了极端情况下的结果可解释性，但整体结论依然稳健。
• 研究结果表明，因果性是决定预测是否能可靠反映模型选择中解释能力的关键因素。

Figure 2: Conceptual simulation architecture. We generated 200 data sets for each entry from a list of data-generating configurations (see Table 1 ) for a total of $28,800$ datasets. We then fit a model for each entry from a list of model-fitting configurations (see Table 2 ) to each data set for a