[论文解读] Testing Properties of Distributions in the Streaming Model

Sampriti Roy, Yadu Vasudev|arXiv (Cornell University)|Jan 1, 2023

Privacy-Preserving Technologies in Data被引用 2

一句话总结

本文提出了在有限内存下用于测试分布性质（包括一致性、单调性和(γ, L)-可分解性）的内存高效流式算法。通过在条件访问模型中创新性地结合CountMin sketch与自适应采样，实现了样本复杂度与空间复杂度之间的近似最优权衡，使用O(m)内存并实现常数误差容忍下的次线性样本数量。

ABSTRACT

We study distribution testing in the standard access model and the conditional access model when the memory available to the testing algorithm is bounded. In both scenarios, the samples appear in an online fashion and the goal is to test the properties of distribution using an optimal number of samples subject to a memory constraint on how many samples can be stored at a given time. First, we provide a trade-off between the sample complexity and the space complexity for testing identity when the samples are drawn according to the conditional access oracle. We then show that we can learn a succinct representation of a monotone distribution efficiently with a memory constraint on the number of samples that are stored that is almost optimal. We also show that the algorithm for monotone distributions can be extended to a larger class of decomposable distributions.

研究动机与目标

• 解决在流式模型中严格内存约束下测试分布性质的挑战。
• 为一致性与单调性测试建立样本复杂度与空间复杂度之间的紧密权衡。
• 通过精细划分与压缩技术，将该框架扩展至更广泛的可分解分布类别。
• 为(γ, L)-可分解分布提供一种空间高效的学习算法，并给出总变差距离的可证明误差界。
• 证明所提出的算法在仅使用O(m)比特内存的情况下，实现了接近最优的样本复杂度。

提出的方法

• 在最多大小为2的子集上应用集合条件的条件访问模型（PCOND），以支持自适应采样。
• 使用(ǫ, δ)参数的CountMin sketch来估计区间权重，仅需O(ǫ log 1/δ)空间，替代完整样本存储。
• 采用二分图碰撞检测框架，在不存储所有样本的情况下检测与均匀性或一致性的偏差。
• 应用递归划分策略，识别出具有显著质量且与均匀性差异较大的区间。
• 利用定理5.2计算(ǫ/2000L, ǫ/2000)-精细划分，以处理可分解分布的定义域。
• 结合压缩与采样技术，学习一个扁平化分布(˜Df)I，使其在总变差距离上近似真实分布，误差不超过ǫ。

实验结果

研究问题

• RQ1 在具有条件访问的流式模型中，一致性测试的样本复杂度与空间复杂度之间最优权衡是什么？
• RQ2 能否通过自适应采样与压缩技术，在内存约束下高效学习单调分布？
• RQ3 如何将单调分布的框架扩展至更一般的类别，如(γ, L)-可分解分布？
• RQ4 在一通流式设置下，测试(γ, L)-可分解性质的样本与空间复杂度是多少？
• RQ5 在有限存储条件下，使用CountMin sketch是否能降低内存使用量，同时保持分布测试的准确性？

主要发现

• 在PCOND模型中，一致性测试算法的样本复杂度为O(1/ǫ⁴)，内存使用为O(m)，其中m ≥ log n / ǫ⁴。
• 对于单调性测试，算法使用O(m)比特内存，样本数量为O(n / ǫ⁴)，其边界接近最优。
• 对于(γ, L)-可分解分布的学习算法，输出的分布(˜Df)I满足dTV(D, (˜Df)I) ≤ ǫ，且该结果成立的概率至少为1−δ。
• 在内存约束m ∈ [log n / ǫ⁴, O(√n log n / ǫ³)]下，学习(γ, L)-可分解分布的总样本复杂度为O(nL log(1/ǫ) / (mǫ⁹))。
• 用于测试(γ, L)-可分解性质的算法，对属于该类的分布以≥1−δ的概率正确接受，对距离2ǫ的分布则以高概率拒绝。
• 使用CountMin sketch将区间权重估计的内存使用降低至O(ǫ log 1/δ)，从而支持高效的流式实现。