[论文解读] You Only Derive Once (YODO): Automatic Differentiation for Efficient Sensitivity Analysis in Bayesian Networks

Rafael Ballester‐Ripoll, Manuele Leonelli|arXiv (Cornell University)|Jun 17, 2022

Bayesian Modeling and Causal Inference被引用 10

一句话总结

本文提出 YODO（You Only Derive Once），一种新颖方法，利用自动微分与精确推断，在单次遍历中计算贝叶斯网络中的所有敏感性值，相较于传统有限差分方法实现数量级的速度提升。该方法可高效、可扩展地应用于包含最多 100,000 个参数的网络，其基于 PyTorch 的实现已免费提供。

ABSTRACT

Sensitivity analysis measures the influence of a Bayesian network's parameters on a quantity of interest defined by the network, such as the probability of a variable taking a specific value. In particular, the so-called sensitivity value measures the quantity of interest's partial derivative with respect to the network's conditional probabilities. However, finding such values in large networks with thousands of parameters can become computationally very expensive. We propose to use automatic differentiation combined with exact inference to obtain all sensitivity values in a single pass. Our method first marginalizes the whole network once using e.g. variable elimination and then backpropagates this operation to obtain the gradient with respect to all input parameters. We demonstrate our routines by ranking all parameters by importance on a Bayesian network modeling humanitarian crises and disasters, and then show the method's efficiency by scaling it to huge networks with up to 100'000 parameters. An implementation of the methods using the popular machine learning library PyTorch is freely available.

研究动机与目标

• 解决现有单因素敏感性分析方法在包含数千个参数的大规模贝叶斯网络中计算效率低下的问题。
• 开发一种可扩展、高效的计算方法，用于计算所有敏感性值（即输出概率对网络参数的偏导数），而无需重复推断。
• 实现对贝叶斯网络中最具影响力参数的快速识别，支持模型验证与风险评估。
• 提供一种实用的开源实现，基于 PyTorch，可无缝集成到现有概率建模工作流中。

提出的方法

• 该方法首先执行一次精确推断（如变量消去），以计算网络上的联合概率分布。
• 然后通过推断过程的计算图应用反向传播，同时计算所有条件概率参数的梯度。
• 使用自动微分计算敏感性函数的梯度，即输出概率感兴趣值对每个网络参数的偏导数。
• 该方法将推断过程视为可微分计算图，通过反向传播实现高效的梯度计算。
• 该方法支持识别敏感性非零的参数（参数敏感性集合），并可确定单调性方向（增加/减少效应）。
• 实现利用 PyTorch，借助其自动微分引擎，支持 GPU 加速，并可无缝集成到机器学习流水线中。

实验结果

研究问题

• RQ1 自动微分能否被有效应用于高计算效率地计算贝叶斯网络中的敏感性值？
• RQ2 在不同规模和复杂度的网络中，所提出方法与传统有限差分估计在敏感性分析性能上相比如何？
• RQ3 该方法能否在包含数万个参数的大规模贝叶斯网络中保持低计算开销的同时实现可扩展性？
• RQ4 该方法是否能实现对贝叶斯网络中最具影响力参数的快速识别，特别是在实际风险评估应用中？
• RQ5 该方法能否扩展以支持多因素敏感性分析和可接受偏差计算？

主要发现

• YODO 在单次推断遍历中计算所有敏感性值，将大规模网络的计算时间从数小时缩短至数秒。
• 在包含 97,851 个参数的 pathfinder 网络中，YODO 仅用 0.188 秒即完成所有敏感性值的计算，而有限差分方法耗时 8,596.81 秒。
• 在包含 19,226 个参数的 munin1 网络中，YODO 用时 14.39 秒，而有限差分方法超过 113,000 秒。
• 该方法成功对人道主义危机贝叶斯网络中的前 20 个最具影响力参数进行排序，识别出其对输出概率的增加或减少效应。
• 在所有 10 个基准网络测试中，YODO 相较于有限差分方法的性能提升均达数个数量级。
• 开源的基于 PyTorch 的实现可高效集成到现有贝叶斯网络工具中，并支持未来扩展至多因素敏感性分析与可接受偏差分析。