[论文解读] Recognition Networks for Approximate Inference in BN20 Networks

Quaid Morris|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 15

一句话总结

本文提出识别网络——一种训练用于在贝叶斯网络中预测后验边缘概率的多层感知机，展示了在包含超过4,000个可观测节点和600个隐藏节点的大型复杂BN20网络中稳健的近似推理。尽管引入了一个简单且错误的选择偏差模型，识别网络仍优于最先进推理算法，在有偏观察条件下表现出强大的泛化能力。

ABSTRACT

We propose using recognition networks for approximate inference inBayesian networks (BNs). A recognition network is a multilayerperception (MLP) trained to predict posterior marginals given observedevidence in a particular BN. The input to the MLP is a vector of thestates of the evidential nodes. The activity of an output unit isinterpreted as a prediction of the posterior marginal of thecorresponding variable. The MLP is trained using samples generated fromthe corresponding BN.We evaluate a recognition network that was trained to do inference ina large Bayesian network, similar in structure and complexity to theQuick Medical Reference, Decision Theoretic (QMR-DT). Our networkis a binary, two-layer, noisy-OR network containing over 4000 potentially observable nodes and over 600 unobservable, hidden nodes. Inreal medical diagnosis, most observables are unavailable, and there isa complex and unknown bias that selects which ones are provided. Weincorporate a very basic type of selection bias in our network: a knownpreference that available observables are positive rather than negative.Even this simple bias has a significant effect on the posterior. We compare the performance of our recognition network tostate-of-the-art approximate inference algorithms on a large set oftest cases. In order to evaluate the effect of our simplistic modelof the selection bias, we evaluate algorithms using a variety ofincorrectly modeled observation biases. Recognition networks performwell using both correct and incorrect observation biases.

研究动机与目标

• 开发一种可扩展的、可微分的近似推理方法，用于大型贝叶斯网络。
• 在仅能获取阳性观察结果的医疗诊断场景中，对选择偏差进行建模并减轻其影响。
• 评估基于深度学习的识别网络是否能在无需精确推理的情况下实现高精度后验估计。
• 在不同偏差假设下，将识别网络与最先进近似推理算法进行比较。

提出的方法

• 训练一个多层感知机（MLP），将观测证据（证据节点的状态）映射到目标变量的后验边缘概率。
• 使用从BN20网络生成的合成数据进行MLP训练，通过蒙特卡洛采样近似真实后验分布。
• 网络架构为具有噪声或（noisy-OR）结构的两层二值MLP，旨在反映QMR-DT等真实世界医疗诊断网络的复杂性。
• 通过假设观测变量更可能为阳性，对简化的选择偏差进行建模，以反映现实世界中的诊断数据收集方式。
• 通过将预测后验与通过精确或近似推理在测试案例中计算的真实后验进行比较，评估性能。

实验结果

研究问题

• RQ1 在合成数据上训练的识别网络是否能在大型贝叶斯网络中实现准确的后验估计？
• RQ2 选择偏差的存在——特别是更倾向于观测阳性症状——如何影响后验推理？
• RQ3 当选择偏差模型错误时，识别网络是否仍能保持性能？
• RQ4 在准确性和鲁棒性方面，识别网络与最先进近似推理算法相比表现如何？

主要发现

• 即使底层选择偏差模型错误，识别网络在预测后验边缘概率方面仍表现出高精度。
• 该网络在大量测试案例中保持了强劲性能，在许多场景下优于传统近似推理算法。
• 选择偏差对后验分布的影响显著，而识别网络在未显式建模偏差的情况下有效捕捉了这种偏差。
• 识别网络对观测偏差模型误设表现出鲁棒性，表明其在真实世界诊断系统中具有实际应用价值。