[论文解读] Testing Conditional Independence of Discrete Distributions

Clément L. Canonne, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Nov 30, 2017

Bayesian Modeling and Causal Inference参考文献 4被引用 9

一句话总结

本文提出了首个针对离散分布 $[\ell_1] \times [\ell_2] \times [n]$ 上条件独立性的子线性样本测试器，采用加权平坦化技术，并设计了分布多项式泛函的最优无偏估计器。其建立了与信息论下界在常数因子内匹配的紧致样本复杂度界限，解决了分布测试领域长期存在的开放问题。

ABSTRACT

We study the problem of testing \emph{conditional independence} for discrete distributions. Specifically, given samples from a discrete random variable $(X, Y, Z)$ on domain $[\ell_1] imes[\ell_2] imes [n]$, we want to distinguish, with probability at least $2/3$, between the case that $X$ and $Y$ are conditionally independent given $Z$ from the case that $(X, Y, Z)$ is $ε$-far, in $\ell_1$-distance, from every distribution that has this property. Conditional independence is a concept of central importance in probability and statistics with a range of applications in various scientific domains. As such, the statistical task of testing conditional independence has been extensively studied in various forms within the statistics and econometrics communities for nearly a century. Perhaps surprisingly, this problem has not been previously considered in the framework of distribution property testing and in particular no tester with sublinear sample complexity is known, even for the important special case that the domains of $X$ and $Y$ are binary. The main algorithmic result of this work is the first conditional independence tester with {\em sublinear} sample complexity for discrete distributions over $[\ell_1] imes[\ell_2] imes [n]$. To complement our upper bounds, we prove information-theoretic lower bounds establishing that the sample complexity of our algorithm is optimal, up to constant factors, for a number of settings. Specifically, for the prototypical setting when $\ell_1, \ell_2 = O(1)$, we show that the sample complexity of testing conditional independence (upper bound and matching lower bound) is \[ Θ\left({\max\left(n^{1/2}/ε^2,\min\left(n^{7/8}/ε,n^{6/7}/ε^{8/7} ight) ight)} ight)\,. \]

研究动机与目标

• 开发一种用于测试离散分布中条件独立性的子线性样本算法，该问题在分布性质测试领域此前尚未被研究。
• 弥合条件独立性测试中样本复杂度的差距，特别是在 $X,Y$ 为二值的情况下，此前缺乏有限样本分析。
• 为在离散分布 $[\ell_1] \times [\ell_2] \times [n]$ 上测试条件独立性，建立紧致的上下界样本复杂度。
• 设计用于估计离散分布多项式泛函的最优无偏估计器，并进行紧致的方差分析。
• 提出新颖的困难实例构造方法，用于利用互信息法证明信息论下界。

提出的方法

• 将 [DK16] 中的平坦化技术改进为加权方法，以处理 $\ell_1$-距离下的条件独立性测试。
• 设计用于估计分布 $p$ 在 $[n]$ 上的 $d$ 次多项式泛函 $Q(p_1, \dots, p_n)$ 的最优无偏估计器，且具有小的加法误差。
• 建立此类估计器的紧致方差界的一般理论，克服了分布测试中一个主要的技术障碍。
• 利用互信息法证明下界，构造了在本研究之外也具有实用价值的新颖困难实例。
• 利用条件独立性和采样中的碰撞分析来界定互信息，并建立样本复杂度的下界。
• 分析采样数据中轻量级碰撞的概率，以界定困难实例中 $F=0$ 与 $F=1$ 情况的可区分性。

实验结果

研究问题

• RQ1 在子线性范围内，测试离散分布中条件独立性的最优样本复杂度是多少？
• RQ2 当 $X$ 和 $Y$ 为二值时，尽管此前缺乏有限样本分析，是否仍可构造出子线性样本测试器？
• RQ3 在 $[\ell_1] \times [\ell_2] \times [n]$ 上测试条件独立性，样本复杂度的最紧致上下界是什么？
• RQ4 如何利用子线性样本，以小方差和加法误差估计离散分布的多项式泛函？
• RQ5 为证明该问题的匹配信息论下界，需要哪些新颖的困难实例构造？

主要发现

• 当 $\ell_1, \ell_2 = O(1)$ 时，测试条件独立性的样本复杂度为 $\Theta\left(\max\left(n^{1/2}/\varepsilon^2, \min\left(n^{7/8}/\varepsilon, n^{6/7}/\varepsilon^{8/7}\right)\right)\right)$，上下界在常数因子内匹配。
• 所提出的测试器实现了子线性样本复杂度，解决了分布性质测试领域长期存在的开放问题。
• 发展了一套关于多项式泛函估计器紧致方差界的通用理论，使在分布测试背景下实现最优估计成为可能。
• 应用互信息法并结合新颖的困难实例构造，证明了样本复杂度在信息论上是最优的。
• 分析表明，采样数据中轻量级碰撞的概率为 $O(C / n^{1/2})$，这对界定互信息和证明下界至关重要。
• 本工作表明，即使在 $X$ 和 $Y$ 为二值的情况下，仍存在具有最优样本复杂度的子线性测试器，填补了文献中的空白。