[论文解读] Near-Optimal Learning of Tree-Structured Distributions by Chow-Liu

Arnab Bhattacharyya, Sutanu Gayen+2 more|arXiv (Cornell University)|Nov 9, 2020

Machine Learning and Algorithms参考文献 53被引用 6

一句话总结

本文为学习树状结构分布的Chow-Liu算法提供了有限样本保证，表明当真实分布为树状结构时，使用 $\widetilde{O}(|\Sigma|^{3}n\varepsilon^{-1})$ 个独立同分布样本，该算法以常数概率输出一个 $\varepsilon$-近似树。此外，本文建立了通用分布的样本复杂度下界 $\Omega(n^{2}\varepsilon^{-2})$，解决了使用 $\widetilde{O}(|\Sigma|^{3}/\varepsilon)$ 个样本进行条件独立性检验中的一个开放问题。

ABSTRACT

We provide finite sample guarantees for the classical Chow-Liu algorithm (IEEE Trans.~Inform.~Theory, 1968) to learn a tree-structured graphical model of a distribution. For a distribution $P$ on $Σ^n$ and a tree $T$ on $n$ nodes, we say $T$ is an $\varepsilon$-approximate tree for $P$ if there is a $T$-structured distribution $Q$ such that $D(P\;||\;Q)$ is at most $\varepsilon$ more than the best possible tree-structured distribution for $P$. We show that if $P$ itself is tree-structured, then the Chow-Liu algorithm with the plug-in estimator for mutual information with $\widetilde{O}(|Σ|^3 n\varepsilon^{-1})$ i.i.d.~samples outputs an $\varepsilon$-approximate tree for $P$ with constant probability. In contrast, for a general $P$ (which may not be tree-structured), $Ω(n^2\varepsilon^{-2})$ samples are necessary to find an $\varepsilon$-approximate tree. Our upper bound is based on a new conditional independence tester that addresses an open problem posed by Canonne, Diakonikolas, Kane, and Stewart~(STOC, 2018): we prove that for three random variables $X,Y,Z$ each over $Σ$, testing if $I(X; Y \mid Z)$ is $0$ or $\geq \varepsilon$ is possible with $\widetilde{O}(|Σ|^3/\varepsilon)$ samples. Finally, we show that for a specific tree $T$, with $\widetilde{O} (|Σ|^2n\varepsilon^{-1})$ samples from a distribution $P$ over $Σ^n$, one can efficiently learn the closest $T$-structured distribution in KL divergence by applying the add-1 estimator at each node.

研究动机与目标

• 为学习树状结构图模型的Chow-Liu算法提供有限样本保证。
• 分析Chow-Liu算法在输出一个分布 $P$ 的 $\varepsilon$-近似树时所需的样本复杂度，其中 $\varepsilon$-近似树定义为与最优可能的树状近似相差不超过 $\varepsilon$。
• 通过证明在 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$ 个样本下可完成测试 $I(X;Y|Z) \geq \varepsilon$ 或 $=0$，解决条件独立性检验中的一个开放问题。
• 为使用加1估计器学习特定树状结构分布建立紧致的样本复杂度边界。

提出的方法

• 本文提出一种新的条件独立性检验器，可在使用 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$ 个样本的情况下，区分条件互信息为零与 $\varepsilon$-有界的两种情况。
• 采用插补估计器计算互信息，并通过集中不等式和熵估计误差控制分析其有限样本行为。
• 利用Pinsker不等式将KL散度与总变差距离关联，从而在近似质量上获得概率性保证。
• 对于固定树 $T$，在每个节点上应用加1估计器，以高效学习KL散度下最接近的 $T$-结构化分布。
• 利用Le Cam的两点法和乘积分布的Hellinger距离分解，推导出理论下界。
• 通过将一般情形约化为树状结构情形，证明当 $P$ 不一定是树状结构时，$\Omega(n^2\varepsilon^{-2})$ 个样本是 $\varepsilon$-近似学习所必需的。

实验结果

研究问题

• RQ1 对于树状结构分布 $P$，Chow-Liu算法在输出 $\varepsilon$-近似树时所需的有限样本复杂度是多少？
• RQ2 能否在 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$ 个样本下完成对条件互信息 $I(X;Y|Z)$ 是否为零或至少为 $\varepsilon$ 的检验，从而解决Canonne等人（2018年）提出的开放问题？
• RQ3 使用加1估计器学习固定树状结构分布的最优样本复杂度是多少？
• RQ4 对于树状结构分布的 $\varepsilon$-近似学习，$\widetilde{O}(|\Sigma|^3 n \varepsilon^{-1})$ 的样本复杂度是否紧致？
• RQ5 对于通用分布，实现 $\varepsilon$-近似学习所需样本数的信息论下界是多少？

主要发现

• 对于树状结构分布 $P$，Chow-Liu算法结合插补互信息估计，在以常数概率下，使用 $\widetilde{O}(|\Sigma|^3 n \varepsilon^{-1})$ 个独立同分布样本可实现 $\varepsilon$-近似学习。
• 本文提出的条件独立性检验器可使用 $\widetilde{O}(|\Sigma|^3 / \varepsilon)$ 个样本，区分 $I(X;Y|Z) = 0$ 与 $I(X;Y|Z) \geq \varepsilon$，从而解决了该开放问题。
• 对于固定树 $T$，加1估计器可在 $\widetilde{O}(|\Sigma|^2 n \varepsilon^{-1})$ 个样本下，高效学习KL散度下最接近的 $T$-结构化分布。
• 为 $\varepsilon$-近似学习通用分布建立了 $\Omega(n^2 \varepsilon^{-2})$ 的样本下界，表明上界近乎紧致。
• 学习树状结构分布的样本复杂度严格优于通用分布，凸显了结构假设的优势。
• 分析表明，Chow-Liu算法对分布模型误设具有鲁棒性，即使 $P$ 不是树状结构，该算法仍能提供良好的近似。