[论文解读] Testing Closeness With Unequal Sized Samples

Bhaswar B. Bhattacharya, Gregory Valiant|arXiv (Cornell University)|Apr 17, 2015

Machine Learning and Algorithms参考文献 23被引用 11

一句话总结

该论文提出了一种针对不等样本量的两个离散分布之间接近度的统计检验，引入了一种新颖且简单的检验统计量，实现了最优的样本复杂度。它建立了紧致的界限，表明当 $ m_1 = \Theta(n^{2/3}/\varepsilon^{4/3}) $ 且 $ m_2 = \Omega(\max\{n/\sqrt{m}_1\varepsilon^2, \sqrt{n}/\varepsilon^2\}) $ 时，能够有效区分 $ p = q $ 与 $ \|p - q\|_1 \geq \varepsilon $，在样本不足的设定下，相较于先前的工作，对 $ n $ 和 $ \varepsilon $ 的依赖关系得到了改进，解决了该问题。

ABSTRACT

We consider the problem of closeness testing for two discrete distributions in the practically relevant setting of \emph{unequal} sized samples drawn from each of them. Specifically, given a target error parameter $\varepsilon > 0$, $m_1$ independent draws from an unknown distribution $p,$ and $m_2$ draws from an unknown distribution $q$, we describe a test for distinguishing the case that $p=q$ from the case that $||p-q||_1 \geq \varepsilon$. If $p$ and $q$ are supported on at most $n$ elements, then our test is successful with high probability provided $m_1\geq n^{2/3}/\varepsilon^{4/3}$ and $m_2 = Ω(\max\{\frac{n}{\sqrt m_1\varepsilon^2}, \frac{\sqrt n}{\varepsilon^2}\});$ we show that this tradeoff is optimal throughout this range, to constant factors. These results extend the recent work of Chan et al. who established the sample complexity when the two samples have equal sizes, and tightens the results of Acharya et al. by polynomials factors in both $n$ and $\varepsilon$. As a consequence, we obtain an algorithm for estimating the mixing time of a Markov chain on $n$ states up to a $\log n$ factor that uses $ ilde{O}(n^{3/2} τ_{mix})$ queries to a "next node" oracle, improving upon the $ ilde{O}(n^{5/3}τ_{mix})$ query algorithm of Batu et al. Finally, we note that the core of our testing algorithm is a relatively simple statistic that seems to perform well in practice, both on synthetic data and on natural language data.

研究动机与目标

• 解决在样本量不等时，测试两个离散分布是否相同或在 $ \ell_1 $ 范数下相距较远这一基本问题。
• 填补在样本量小于支持集大小 $ n $ 的样本不足设定下，接近度检验的样本复杂度界限的空白。
• 为从分布 $ p $ 和 $ q $ 分别抽取的样本大小 $ m_1 $ 和 $ m_2 $ 提供统一且最优的权衡，以区分 $ p = q $ 与 $ \|p - q\|_1 \geq \varepsilon $。

提出的方法

• 提出一种新的检验统计量，通过结合经验频率差异与归一化项，提升在不等样本量设定下的鲁棒性。
• 采用两阶段检验：在大多数参数设定下使用标准的 $ \ell_1 $-基础统计量，当 $ m_1 \approx n $ 时引入一种新颖的附加统计量。
• 利用集中不等式和基于 Valiant 框架的矩分析方法，控制误差概率并证明最优性。
• 采用泊松化技术与矩比较方法，推导出所需样本量的下限。
• 通过分析 $ m_1 $ 与 $ m_2 $ 之间的权衡，推导出紧致的样本复杂度界限，证明其在常数因子意义下最优。
• 在合成数据和真实世界自然语言数据（如使用二元语法样本进行同义词检测）上验证了该检验的实际性能。

实验结果

研究问题

• RQ1 在测试两个不等样本量的离散分布之间的接近度时，样本量 $ m_1 $ 与 $ m_2 $ 之间的最优权衡是什么？
• RQ2 是否可以通过一个简单统一的检验统计量，在 $ m_1 $ 与 $ m_2 $ 的全范围内（包括 $ m_1 \approx n $ 等极端情形）实现最优性能？
• RQ3 当一个样本显著小于另一个样本时，与等样本量情形相比，接近度检验的样本复杂度如何变化？
• RQ4 在不等样本量设定下，区分 $ p = q $ 与 $ \|p - q\|_1 \geq \varepsilon $ 所需样本数的信息论下限是多少？
• RQ5 所提出的检验方法能否用于改进现有算法，例如用于估计马尔可夫链混合时间的算法？

主要发现

• 所提出的检验实现了最优样本复杂度：$ m_1 = \Theta(n^{2/3}/\varepsilon^{4/3}) $ 且 $ m_2 = \Omega(\max\{n/\sqrt{m}_1\varepsilon^2, \sqrt{n}/\varepsilon^2\}) $，与下限在常数因子内一致。
• 该权衡在参数范围中平滑插值，既覆盖了等样本量时的 $ \Theta(n^{2/3}) $ 边界，也覆盖了当一个分布已知时的 $ \Theta(\sqrt{n}/\varepsilon^2) $ 边界。
• 该检验在整个参数范围内均达到最优，包括 $ m_1 \approx n $ 的极端情形，后者需要引入一种新颖的附加统计量。
• 该方法将估计 $ n $ 个状态的马尔可夫链混合时间的查询复杂度从 $ \tilde{O}(n^{5/3}\tau_{\text{mix}}) $ 改进为 $ \tilde{O}(n^{3/2}\tau_{\text{mix}}) $。
• 核心检验统计量不仅在理论上最优，而且在合成数据和真实世界数据（包括自然语言应用）上也表现出良好的实际效果。
• 下限证明表明，当 $ m_1 \geq n^{2/3}/\varepsilon^{4/3} $ 时，从 $ q $ 中获取 $ \Omega(n/\sqrt{m}_1\varepsilon^2) $ 个样本是必要的，从而证实了上界结果的紧致性。