[论文解读] Square Hellinger Subadditivity for Bayesian Networks and its Applications to Identity Testing

Constantinos Daskalakis, Qinxuan Pan|arXiv (Cornell University)|Dec 9, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用 14

一句话总结

本文建立了贝叶斯网络的平方 Hellinger 子可加不等式，表明在相同 DAG 上的两个网络之间的平方 Hellinger 距离，由每个节点及其父节点的平方距离之和所界定。这使得在有界度数网络下实现最优样本效率的身份测试，样本数为 Õ(|Σ|^{3/4(d+1)}n/ε²)，在乘积分布下为 O(√n/ε²)，其样本复杂度与已知的下界仅相差常数因子。

ABSTRACT

We show that the square Hellinger distance between two Bayesian networks on the same directed graph, $G$, is subadditive with respect to the neighborhoods of $G$. Namely, if $P$ and $Q$ are the probability distributions defined by two Bayesian networks on the same DAG, our inequality states that the square Hellinger distance, $H^2(P,Q)$, between $P$ and $Q$ is upper bounded by the sum, $\sum_v H^2(P_{\{v\} \cup Π_v}, Q_{\{v\} \cup Π_v})$, of the square Hellinger distances between the marginals of $P$ and $Q$ on every node $v$ and its parents $Π_v$ in the DAG. Importantly, our bound does not involve the conditionals but the marginals of $P$ and $Q$. We derive a similar inequality for more general Markov Random Fields. As an application of our inequality, we show that distinguishing whether two Bayesian networks $P$ and $Q$ on the same (but potentially unknown) DAG satisfy $P=Q$ vs $d_{ m TV}(P,Q)>ε$ can be performed from $ ilde{O}(|Σ|^{3/4(d+1)} \cdot n/ε^2)$ samples, where $d$ is the maximum in-degree of the DAG and $Σ$ the domain of each variable of the Bayesian networks. If $P$ and $Q$ are defined on potentially different and potentially unknown trees, the sample complexity becomes $ ilde{O}(|Σ|^{4.5} n/ε^2)$, whose dependence on $n, ε$ is optimal up to logarithmic factors. Lastly, if $P$ and $Q$ are product distributions over $\{0,1\}^n$ and $Q$ is known, the sample complexity becomes $O(\sqrt{n}/ε^2)$, which is optimal up to constant factors.

研究动机与目标

• 开发用于高维结构化分布（如贝叶斯网络）的高效身份测试算法。
• 通过利用图模型结构，克服高维分布测试中的指数级样本复杂度障碍。
• 为贝叶斯网络和马尔可夫随机场建立一种新颖的平方 Hellinger 子可加不等式。
• 在总变差距离下实现身份测试的最优或近似最优样本复杂度。
• 将先前对 Ising 模型的研究扩展到更一般的概率图模型。

提出的方法

• 推导出平方 Hellinger 子可加性界：H²(P,Q) ≤ ∑ᵥ H²(P_{v∪Πᵥ}, Q_{v∪Πᵥ})，其中 P 和 Q 是在相同 DAG G 上的贝叶斯网络。
• 利用该子可加性不等式，将全局测试问题简化为在马尔可夫遮罩（节点及其父节点集合）上的局部测试。
• 应用耦合论证表明，假设 qᵢ ≥ ε/(cn) 仅使总变差距离降低一个常数因子。
• 将 [ADK15] 中基于 χ² 的测试框架适配到 Hellinger 设置中，使用泊松化采样来模拟每个坐标的独立样本。
• 采用检验统计量 Z = ∑ᵢ ((Nᵢ − mqᵢ)² − Nᵢ)/(mqᵢ)，并通过集中不等式分析其期望与方差。
• 使用切比雪夫不等式区分 P=Q 与 d_TV(P,Q) > ε 的情况，且错误概率被控制在 1/3 以内。

实验结果

研究问题

• RQ1 在相同 DAG 上的两个贝叶斯网络之间的平方 Hellinger 距离，能否由每个节点及其父节点的局部马尔可夫遮罩上的距离之和所界定？
• RQ2 该子可加性不等式是否能实现结构化高维分布身份测试的最优样本复杂度？
• RQ3 能否在独立同分布测试的指数级界之外，进一步改进贝叶斯网络身份测试的样本复杂度？
• RQ4 当分布为 {0,1}ⁿ 上的乘积测度且 Q 已知时，身份测试的最优样本复杂度是多少？
• RQ5 该子可加性不等式如何推广到一般的马尔可夫随机场？

主要发现

• 在相同 DAG 上的两个贝叶斯网络之间的平方 Hellinger 距离，可由每个节点及其父节点的平方 Hellinger 距离之和所界定，且不涉及条件概率。
• 对于最大入度为 d 的贝叶斯网络，身份测试所需的样本数为 Õ(|Σ|^{3/4(d+1)}n/ε²)，该结果在对数因子范围内是最优的。
• 对于未知树结构上的贝叶斯网络，样本复杂度为 Õ(|Σ|^{4.5}n/ε²)，在 n 和 ε 上的依赖关系与最优结果仅相差对数因子。
• 对于已知 Q 的 {0,1}ⁿ 上的乘积分布，身份测试仅需 O(√n/ε²) 个样本，该结果在常数因子范围内是最优的。
• 该子可加性不等式可推广至一般马尔可夫随机场，从而实现类似的测试保证。
• 分析利用了泊松化采样和具有有界方差的 χ² 类检验统计量，从而支持基于集中性的假设检验。