[论文解读] Scalable Simulation-Based Model Inference with Test-Time Complexity Control

Manuel Gloeckler, J. P. Manzano-Patrón+3 more|arXiv (Cornell University)|Mar 16, 2026

Functional Brain Connectivity Studies被引用 0

一句话总结

PRISM 是一种基于仿真的编码-解码器，可联合推断离散模型结构与连续参数，在大规模模型空间中在推理阶段通过可调的模型复杂度先验实现控制 parsimonious。

ABSTRACT

Simulation plays a central role in scientific discovery. In many applications, the bottleneck is no longer running a simulator; it is choosing among large families of plausible simulators, each corresponding to different forward models/hypotheses consistent with observations. Over large model families, classical Bayesian workflows for model selection are impractical. Furthermore, amortized model selection methods typically hard-code a fixed model prior or complexity penalty at training time, requiring users to commit to a particular parsimony assumption before seeing the data. We introduce PRISM, a simulation-based encoder-decoder that infers a joint posterior over both discrete model structures and associated continuous parameters, while enabling test-time control of model complexity via a tunable model prior that the network is conditioned on. We show that PRISM scales to families with combinatorially many (up to billions) of model instantiations on a synthetic symbolic regression task. As a scientific application, we evaluate PRISM on biophysical modeling for diffusion MRI data, showing the ability to perform model selection across several multi-compartment models, on both synthetic and in vivo neuroimaging data.

研究动机与目标

• 说明在数据驱动的不确定性下，需要在大量仿真器/模型家族中进行选择的动机。
• 开发一个可扩展的按需推断框架，联合学习模型结构与参数。
• 引入可调的模型先验 lambda，在不重新训练的情况下在推理时控制复杂度。
• 展示在具有数十亿配置的模型空间中的可扩展性。
• 将 PRISM 应用于符号回归和扩散MRI，以展示模型选择与不确定性量化。

提出的方法

• 将 PRISM 作为一个基于 Transformer 的编码器-解码器，具有两个解码流：一个用于离散模型结构，一个用于连续参数。
• 将模型后验表示为基于 x 和 lambda 条件的自回归多变量伯努利分布。
• 使用扩散式解码器来捕捉多模态的参数后验，配合 v-预测目标并对观测进行交叉注意。
• 通过自适应层归一化注入 lambda，在推理时对简约性进行条件化。
• 在参数解码器中屏蔽非活动组件，以边际化未使用的维度，并在模型之间共享单一解码器。
• 端到端训练，包含两项损失：模型解码的伯努利负对数似然和参数的扩散 v-预测，结合在线数据生成。

Figure 1: PRISM overview. (a) During training, we sample from a model family ${\mathcal{M}}$ with a hierarchical prior $p(\mathcal{M}\mid\lambda)$ , where $\lambda$ controls a chosen notion of model complexity and approximate jointly the model posterior and the conditional parameter posterior $p(\ma

实验结果

研究问题

• RQ1 PRISM 是否能够在组合性模型空间中推断离散模型结构与连续参数的联合后验？
• RQ2 在推理阶段通过可调的模型先验 lambda 是否能够在不重新训练的情况下有效控制模型复杂度？
• RQ3 在合成数据和真实数据上，PRISM 如何对模型与参数后验进行良好校准？
• RQ4 PRISM 是否能够扩展到数十亿级模型实例并仍提供准确的模型选择与参数推断？
• RQ5 在符号回归和扩散 MRI 应用中，PRISM 是否具有竞争力或优于现有的 SBI 与 SBMI 方法？

主要发现

• PRISM 能在大规模组合模型空间中推断模型和参数后验，能够在合成符号回归任务上扩展到数十亿级实例。
• 变换 lambda 能改变模型后验的形状，使得在不重新训练的情况下获得更简单、更加稀疏的解释。
• 在大规模模型尺度下，PRISM 优于以往的 SBMI 方法，并保持良好校准（SBC）与信息性前五准确度（>90%）。
• 在扩散 MRI 中，PRISM 能在多腔室模型和采集协议下准确推断模型与参数后验，模型后验与基于证据的估计相一致且不确定性经过校准。
• PRISM 实现可处理的束路追踪并与 MCMC 基线结果更一致，同时能够在数据集上实现快速的体素级按需推断。

Figure 2: Illustration on symbolic regression task. Left: Ground-truth function and noisy observations (black, $x<10$ ), compared to posterior predictives samples for two model complexities $\lambda$ (95% credible interval and one noiseless sample each, chosen as the simplest posterior draw). Right: