[论文解读] Semi-Modular Inference: enhanced learning in multi-modular models by tempering the influence of components

Chris U. Carmona, Geoff K. Nicholls|arXiv (Cornell University)|Mar 15, 2020

Bayesian Methods and Mixture Models参考文献 10被引用 11

一句话总结

本文提出了半模块化推断（Semi-Modular Inference, SMI），这是一种统一的框架，通过影响参数 η 平滑调节多模块模型中各模块的影响，从而推广贝叶斯推断与剪切模型（Cut-model）推断。SMI 实现了从指定良好模块到指定不良模块的定向、可调信息流，提升了预测性能——在模拟实验中选择 η ≈ 0.82，在考古学数据集中选择 η ≈ 0.8，SMI 在预测准确性和关键假设的证据支持方面均优于完整的贝叶斯推断与剪切模型推断。

ABSTRACT

Bayesian statistical inference loses predictive optimality when generative models are misspecified. Working within an existing coherent loss-based generalisation of Bayesian inference, we show existing Modular/Cut-model inference is coherent, and write down a new family of Semi-Modular Inference (SMI) schemes, indexed by an influence parameter, with Bayesian inference and Cut-models as special cases. We give a meta-learning criterion and estimation procedure to choose the inference scheme. This returns Bayesian inference when there is no misspecification. The framework applies naturally to Multi-modular models. Cut-model inference allows directed information flow from well-specified modules to misspecified modules, but not vice versa. An existing alternative power posterior method gives tunable but undirected control of information flow, improving prediction in some settings. In contrast, SMI allows tunable and directed information flow between modules. We illustrate our methods on two standard test cases from the literature and a motivating archaeological data set.

研究动机与目标

• 解决多模块贝叶斯模型中的模型设定错误问题，其中性能较差的模块会扭曲性能良好的模块的推断结果。
• 开发一种统一的推断框架，实现贝叶斯推断与剪切模型推断之间的插值，支持可控的、定向的信息流。
• 提供一种一致的、基于损失的推断方案，推广现有方法并支持合理的模型选择。
• 提供一种实用方法，利用预测标准（如 elpd 和 WAIC）选择最优的影响参数 η。

提出的方法

• 引入一族由影响参数 η 索引的候选后验分布，其中 η = 1 对应完整贝叶斯推断，η = 0 对应剪切模型推断。
• 将 SMI 后验定义为模块贡献的加权组合，实现贝叶斯后验与剪切模型后验之间的平滑插值。
• 确保 SMI 在 Bissiri 等人（2016）提出的基于损失的推断框架内保持一致性，保障理论上的严谨性。
• 使用预测性能（通过估计的逐个留一预测密度 elpd 和 WAIC 衡量）作为标准，选择最优的 η 值。
• 通过在 SMI 后验上使用 MCMC 抽样实现该方法，并在模拟数据和真实数据集上进行数值评估。
• 通过 elpd 最大化实现元学习以选择 η，其取值范围在 0 到 1 之间，表示来自设定错误模块的部分影响。

实验结果

研究问题

• RQ1 能否开发一种通用的推断框架，实现贝叶斯推断与剪切模型推断之间的平滑插值，同时保持一致性？
• RQ2 通过影响参数 η 调节模块影响是否能在模型设定错误的情况下提升预测性能？
• RQ3 基于数据的准则（如 elpd 或 WAIC）能否可靠地选择多模块模型中的最优推断方案（即最优 η）？
• RQ4 在真实世界数据集中，SMI 与贝叶斯推断和剪切模型推断相比，在预测准确性和关键假设证据支持方面表现如何？

主要发现

• 在考古学数据集中，SMI 选择 η ≈ 0.82，其对 γ < 0 的证据支持强于剪切模型（贝叶系数 BF = 117.11 vs. BF = 5.54），表明推断能力显著提升。
• 在人乳头瘤病毒（HPV）流行病学数据集中，SMI 选择的 η 值在预测性能上达到平衡：η ≈ 0.8 对于泊松模块为最优，而 η = 0（即剪切模型）对于二项分布模块为最优。
• 在测试案例中，SMI 框架的预测性能优于完整的贝叶斯推断与剪切模型推断，表现为使用 WAIC 估计的 elpd 值更低。
• 该方法成功缓解了后验估计中的稀释效应，尤其在低 η 值时 γ 向零漂移的现象中表现明显。
• SMI 在 Bissiri 等人（2016）提出的基于损失的推断框架下保持了理论一致性，确保了理论上的严谨性。
• R 包 'aistats2020smi' 实现了所有结果的完全可复现性，包括 MCMC 抽样与 elpd 估计。