[论文解读] When do Numbers Really Matter?

Hei Chan, Adrian Darwiche|arXiv (Cornell University)|Aug 7, 2014

Bayesian Modeling and Causal Inference参考文献 16被引用 8

一句话总结

本文研究了贝叶斯网络中概率查询对条件概率表（CPT）微小变化的敏感性，证明了此类参数变化对查询结果影响程度的紧致解析边界。它识别出在何种特定条件下，微小的参数变化会显著影响结果，为知识工程师提供了识别关键参数的准则，并为近似推理算法提供了安全简化参数的参考依据。

ABSTRACT

Common wisdom has it that small distinctions in the probabilities quantifying a Bayesian network do not matter much for the resultsof probabilistic queries. However, one can easily develop realistic scenarios under which small variations in network probabilities can lead to significant changes in computed queries. A pending theoretical question is then to analytically characterize parameter changes that do or do not matter. In this paper, we study the sensitivity of probabilistic queries to changes in network parameters and prove some tight bounds on the impact that such parameters can have on queries. Our analytical results pinpoint some interesting situations under which parameter changes do or do not matter. These results are important for knowledge engineers as they help them identify influential network parameters. They are also important for approximate inference algorithms that preprocessnetwork CPTs to eliminate small distinctions in probabilities.

研究动机与目标

• 理解贝叶斯网络参数的微小变化在何种情况下会导致查询结果的显著变化。
• 为概率查询对参数扰动的敏感性提供解析边界。
• 识别出在何种条件下参数变化对查询可靠性有或没有影响。
• 协助知识工程师识别显著影响推理结果的关键参数。
• 为近似推理算法提供参数简化的安全条件参考。

提出的方法

• 使用敏感性分析技术，推导出参数变化对概率查询影响的解析边界。
• 对条件概率表（CPTs）进行数学分析，以量化查询的敏感性。
• 利用贝叶斯网络的结构特性，识别出微小参数偏移导致查询结果大幅变化的情形。
• 基于参数扰动，建立查询偏差的紧致上界。
• 利用d-分离和条件独立性，隔离出具有影响力的参数。
• 通过理论证明和真实网络场景的示例验证研究结果。

实验结果

研究问题

• RQ1 在何种条件下，CPT参数的微小变化会导致概率查询结果的显著变化？
• RQ2 可以推导出哪些解析边界来量化参数扰动对查询的最大影响？
• RQ3 哪些网络参数在决定查询结果方面最具影响力？
• RQ4 在何种情况下可以安全地简化或舍入CPT概率而不影响推理准确性？
• RQ5 知识工程师如何识别并优先处理贝叶斯网络中的关键参数？

主要发现

• 即使在真实的贝叶斯网络场景中，微小的参数变化也可能导致查询结果的显著偏差。
• 本文建立了由于参数扰动导致查询变化程度的紧致解析边界。
• 某些网络结构和条件独立关系会放大对参数变化的敏感性。
• 位于高影响力证据或决策路径中的参数更可能显著影响查询结果。
• 识别出参数变化不影响结果的理论条件，从而为近似推理中的安全简化提供依据。
• 研究结果为知识工程中选择需高精度保留的参数提供了系统性依据。