[论文解读] Optimal Testing for Properties of Distributions

Jayadev Acharya, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Jul 21, 2015

Machine Learning and Algorithms参考文献 21被引用 44

一句话总结

本文提出了一种通用、样本最优且计算高效的测试框架，用于检测离散概率分布的基本性质——如单调性、对数凹性、单峰性、独立性以及单调风险率——通过将问题简化为通过卡方距离和总变差距离区分分布与已知参考分布。关键贡献在于建立了单变量性质的紧致样本复杂度界限 $\Theta(\sqrt{n}/\varepsilon^2)$ 和 $d$ 维空间中单调性的 $\Theta(n^{d/2}/\varepsilon^2)$，并给出了匹配的下界。

ABSTRACT

Given samples from an unknown distribution $p$, is it possible to distinguish whether $p$ belongs to some class of distributions $\mathcal{C}$ versus $p$ being far from every distribution in $\mathcal{C}$? This fundamental question has received tremendous attention in statistics, focusing primarily on asymptotic analysis, and more recently in information theory and theoretical computer science, where the emphasis has been on small sample size and computational complexity. Nevertheless, even for basic properties of distributions such as monotonicity, log-concavity, unimodality, independence, and monotone-hazard rate, the optimal sample complexity is unknown. We provide a general approach via which we obtain sample-optimal and computationally efficient testers for all these distribution families. At the core of our approach is an algorithm which solves the following problem: Given samples from an unknown distribution $p$, and a known distribution $q$, are $p$ and $q$ close in $χ^2$-distance, or far in total variation distance? The optimality of our testers is established by providing matching lower bounds with respect to both $n$ and $\varepsilon$. Finally, a necessary building block for our testers and an important byproduct of our work are the first known computationally efficient proper learners for discrete log-concave and monotone hazard rate distributions.

研究动机与目标

• 填补测试离散分布基本形状性质（如单调性、对数凹性、单峰性、独立性及单调风险率）的样本复杂度差距。
• 开发一种统一的测试框架，实现所有这些分布族的最优样本复杂度与计算效率。
• 建立与上界匹配的紧致下界，证明所提测试器在 $n$ 和 $\varepsilon$ 两个参数上的最优性。
• 作为副产品，首次提供离散对数凹分布与单调风险率分布的计算高效且正确的学习算法。

提出的方法

• 核心方法是一种算法，通过 $\Theta(\sqrt{n}/\varepsilon^2)$ 个样本，判断未知分布 $p$ 是否在卡方距离上接近已知分布 $q$，或在总变差距离上相距甚远。
• 该框架将性质测试问题转化为卡方距离与总变差距离的区分问题，从而实现多种分布类别的样本最优测试器。
• 对于 $[n]^d$ 上的单调性测试，该方法构造了一个包含 $2^{n^{d/2}/2}$ 个元素的分布类，每个分布以结构化方式偏离均匀分布，并应用 Paninski 的方法推导出下界。
• 对于独立性测试，该方法在超网格 $[n_1] \times \cdots \times [n_d]$ 上构造了一个大规模分布类，其与乘积分布相距甚远，利用自由度分析和 Paninski 的技术。
• 对于对数凹分布与单峰分布，该方法通过分析提升点并应用区间上的三角不等式，证明任何此类分布与构造的分布类在 $\varepsilon$ 范围内相距甚远。
• 对于单调风险率（MHR）分布，该方法在中心区间 $[n/4, 3n/4]$ 内识别出至少 $n/8$ 个提升点，并利用对 $p_i$ 和 $p_{i+1}$ 的边界估计，推导出总变差距离的 $\Omega(\varepsilon)$ 下界。

实验结果

研究问题

• RQ1 对于 $[n]$ 上的分布，给定与单调性的 $\varepsilon$-距离，测试其是否单调的最优样本复杂度是多少？
• RQ2 在超网格上的 $d$ 维分布中，测试独立性的样本复杂度如何随维度变化？
• RQ3 能否设计一个统一框架，实现多种分布性质的样本最优且计算高效的测试？
• RQ4 在小样本条件下，测试对数凹性、单峰性及单调风险率的样本复杂度的最紧下界是什么？
• RQ5 作为测试框架的副产品，能否高效构造对数凹分布与单调风险率分布的正确学习算法？

主要发现

• 测试任意 $[n]$ 上分布的身份，需要 $\Theta(\sqrt{n}/\varepsilon^2)$ 个样本，这对均匀分布是最优的，且与最小最大样本复杂度一致。
• 在 $[n]^d$ 上测试单调性，需要 $\Theta(n^{d/2}/\varepsilon^2)$ 个样本，优于先前结果：在一维中需 $\Omega(\sqrt{n}\log n / \varepsilon^4)$，在高维中需 $\tilde{\Omega}(n^{d-1/2}\text{poly}(1/\varepsilon))$。
• 在 $[n_1] \times \cdots \times [n_d]$ 上测试 $d$ 个随机变量的独立性，需要 $O\left(\left(\prod_{l}n_{l}\right)^{1/2} + \sum_{l}n_{l}\right)/\varepsilon^2$ 个样本，且存在匹配的 $\Omega\left(\left(\prod_{l}n_{l}\right)^{1/2}/\varepsilon^2\right)$ 下界。
• 在 $[n]$ 上测试对数凹性、单峰性及单调风险率，各自均需 $\Theta(\sqrt{n}/\varepsilon^2)$ 个样本，且通过结构化分布类与提升点分析建立了匹配的下界。
• 该框架首次实现了离散对数凹分布与单调风险率分布的计算高效正确学习器，这对测试流程至关重要。
• 通过证明所有考虑性质在 $n$ 和 $\varepsilon$ 两个参数上的匹配下界，该方法确立了测试器的最优性。