[论文解读] Reasoning about Bayesian Network Classifiers

Hei Chan, Adnan Darwiche|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 8被引用 33

一句话总结

本文提出一种将朴素贝叶斯分类器转换为有序决策图（ODD）的方法，从而实现对其性质的高效推理。该方法可对分类器等价性、差异性表征以及CPT敏感性进行可 tractable 的分析，并通过理论和实验验证表明，即使在大规模实例下，ODD 表示也保持紧凑。

ABSTRACT

Bayesian network classifiers are used in many fields, and one common class of classifiers are naive Bayes classifiers. In this paper, we introduce an approach for reasoning about Bayesian network classifiers in which we explicitly convert them into Ordered Decision Diagrams (ODDs), which are then used to reason about the properties of these classifiers. Specifically, we present an algorithm for converting any naive Bayes classifier into an ODD, and we show theoretically and experimentally that this algorithm can give us an ODD that is tractable in size even given an intractable number of instances. Since ODDs are tractable representations of classifiers, our algorithm allows us to efficiently test the equivalence of two naive Bayes classifiers and characterize discrepancies between them. We also show a number of additional results including a count of distinct classifiers that can be induced by changing some CPT in a naive Bayes classifier, and the range of allowable changes to a CPT which keeps the current classifier unchanged.

研究动机与目标

• 为了实现对贝叶网络分类器结构和概率性质的高效推理。
• 为解决在直接计算不可行的大规模朴素贝叶斯分类器分析挑战。
• 通过 ODD 提供一种可 tractable 的表示方法，用于分类器比较和敏感性分析。
• 对通过修改条件概率表（CPT）可生成的不同分类器数量进行表征。
• 确定 CPT 变化范围，使得分类器输出保持不变。

提出的方法

• 提出一种将任意朴素贝叶斯分类器转换为有序决策图（ODD）的算法。
• 利用 ODD 表示，实现对原本不可行的分类器进行多项式时间推理。
• 采用 CPT 的符号操作来分析参数扰动下分类器的行为。
• 应用基于 ODD 的技术，高效测试两个朴素贝叶斯分类器之间的等价性。
• 利用 ODD 结构计算由 CPT 修改所诱导的不同分类器数量。
• 通过基于 ODD 的敏感性分析，推导出保持分类器输出不变的 CPT 变化范围。

实验结果

研究问题

• RQ1 能否通过紧凑的符号表示，高效分析朴素贝叶斯分类器的等价性？
• RQ2 在朴素贝叶斯模型中，修改单个 CPT 可生成多少种不同的分类器？
• RQ3 CPT 参数变化的哪些范围不会改变分类器的输出？
• RQ4 如何系统地表征两个朴素贝叶斯分类器之间的差异？
• RQ5 ODD 能否为大规模或复杂朴素贝叶斯分类器的推理提供可 tractable 的表示？

主要发现

• 所提出的 ODD 转换算法即使在分类器实例数量不可行的情况下，也能生成紧凑的表示。
• 通过基于 ODD 的符号计算，可高效执行两个朴素贝叶斯分类器之间的等价性测试。
• 通过 ODD 分析可确定并计算出由单个 CPT 修改所诱导的不同分类器数量，且该数量有界。
• 可识别出一组 CPT 参数变化范围，其不改变分类器输出，从而支持鲁棒性分析。
• 该方法通过基于 ODD 的比较，实现了对两个分类器差异性的系统表征。
• 理论和实验结果证实，ODD 为贝叶网络分类器的推理提供了一个可 tractable 且可扩展的框架。