[论文解读] Valid belief updates for prequentially additive loss functions arising in Semi-Modular Inference

Geoff K. Nicholls, Jeong Eun Lee+2 more|arXiv (Cornell University)|Jan 24, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文证明了预序加性损失函数——在半模块化推断（SMI）和Cut模型中常见——可通过Gibbs后验构造实现有效且顺序一致的信念更新。研究证明，尽管这些损失函数并非完全加性，仍能实现最优且一致的推断，且SMI方案中的信念更新与该最优更新一致，为模型误设下的模块化贝叶斯推断提供了理论基础。

ABSTRACT

Model-based Bayesian evidence combination leads to models with multiple parameteric modules. In this setting the effects of model misspecification in one of the modules may in some cases be ameliorated by cutting the flow of information from the misspecified module. Semi-Modular Inference (SMI) is a framework allowing partial cuts which modulate but do not completely cut the flow of information between modules. We show that SMI is part of a family of inference procedures which implement partial cuts. It has been shown that additive losses determine an optimal, valid and order-coherent belief update. The losses which arise in Cut models and SMI are not additive. However, like the prequential score function, they have a kind of prequential additivity which we define. We show that prequential additivity is sufficient to determine the optimal valid and order-coherent belief update and that this belief update coincides with the belief update in each of our SMI schemes.

研究动机与目标

• 建立在模型误设条件下，模块化贝叶斯推断中有效且顺序一致信念更新的理论基础。
• 证明预序加性损失函数——在Cut模型和SMI中出现——即使非完全加性，仍能支持最优信念更新。
• 通过预序加性统一SMI与Cut模型推断，建立广义贝叶斯更新的共同框架。
• 证明η-SMI与δ-SMI方案中的信念更新与基于预序加性损失推导出的最优、有效且顺序一致的更新一致。
• 为多模块模型中某些组件误设时提供标准贝叶斯更新的原理性替代方案。

提出的方法

• 作者将'预序加性'定义为标准加性的松弛形式，适用于序列或模块化推断设置中的损失函数。
• 证明预序加性损失可通过Gibbs后验构造支持最优、有效且顺序一致的信念更新。
• 该方法应用广义贝叶斯理论，推导出即使似然函数非完全加性，信念更新仍保持一致。
• 该框架应用于η-SMI与δ-SMI，证明其后验与预序加性下的最优更新一致。
• 该方法使用幂后验，并通过在数据邻域上类似ABC的条件化，构建介于Cut与完整贝叶斯推断之间的插值分布。
• 理论结果通过与现有方法（如PAC-Bayes、Gibbs后验和自助后验）的联系得到支持。

实验结果

研究问题

• RQ1 当损失函数非完全加性时，半模块化和Cut模型中的信念更新是否可视为有效且一致？
• RQ2 损失函数的何种性质可确保模块化推断中实现最优、有效且顺序一致的信念更新？
• RQ3 预序加性与标准加性相比，在支持广义贝叶斯更新方面有何差异？
• RQ4 η-SMI与δ-SMI方案中的信念更新是否与基于预序加性损失推导出的最优更新一致？
• RQ5 该框架能否扩展以包含自助或袋装后验作为标准似然的替代方案？

主要发现

• 预序加性损失函数足以确保即使损失非完全加性，信念更新仍为最优、有效且顺序一致。
• η-SMI与δ-SMI方案中的信念更新在数学上等价于基于预序加性损失推导出的最优更新。
• δ-SMI框架通过数据邻域大小δ自然地解释了误设，其尺度相对于数据波动具有明确意义。
• δ-SMI后验是一种基于产品空间邻域内数据的ABC后验，当δ → 0时可恢复标准贝叶斯推断。
• 当扩展至后验自助（Posterior Bootstrap）或袋装后验时，该方法继承了自助后验的良好频现覆盖性质。
• 该框架为多模块模型中存在误设组件时提供了标准贝叶斯更新的原理性替代方案，尤其在参数估计目标下表现优越。