[论文解读] Optimal lower bounds for universal relation, samplers, and finding duplicates

Jelani Nelson, Jakub Pachocki+1 more|arXiv (Cornell University)|Mar 23, 2017

Cryptography and Data Security参考文献 22被引用 4

一句话总结

该论文建立了随机化单向通信复杂度下通用关系问题（UR）及其推广形式 UR_k 的最优下界，证明其为 Θ(min{n, t log²(n/t)}) 位，其中 t = max{k, log(1/δ)}，在公共硬币协议下成立。关键技术贡献是一种新颖的编码方案，通过自适应查询一个假设的低内存算法，并注入随机噪声以模拟差分隐私式的保证，从而证明任何此类算法都无法将子集压缩至信息论极限以下，进而为流中的 ℓ₀-采样和重复元素检测问题提供了紧致下界。

ABSTRACT

In the communication problem $\mathbf{UR}$ (universal relation) [KRW95], Alice and Bob respectively receive $x$ and $y$ in $\{0,1\}^n$ with the promise that $x eq y$. The last player to receive a message must output an index $i$ such that $x_i eq y_i$. We prove that the randomized one-way communication complexity of this problem in the public coin model is exactly $Θ(\min\{n, \log(1/δ)\log^2(\frac{n}{\log(1/δ)})\})$ bits for failure probability $δ$. Our lower bound holds even if promised $\mathop{support}(y)\subset \mathop{support}(x)$. As a corollary, we obtain optimal lower bounds for $\ell_p$-sampling in strict turnstile streams for $0\le p < 2$, as well as for the problem of finding duplicates in a stream. Our lower bounds do not need to use large weights, and hold even if it is promised that $x\in\{0,1\}^n$ at all points in the stream. Our lower bound demonstrates that any algorithm $\mathcal{A}$ solving sampling problems in turnstile streams in low memory can be used to encode subsets of $[n]$ of certain sizes into a number of bits below the information theoretic minimum. Our encoder makes adaptive queries to $\mathcal{A}$ throughout its execution, but done carefully so as to not violate correctness. This is accomplished by injecting random noise into the encoder's interactions with $\mathcal{A}$, which is loosely motivated by techniques in differential privacy. Our correctness analysis involves understanding the ability of $\mathcal{A}$ to correctly answer adaptive queries which have positive but bounded mutual information with $\mathcal{A}$'s internal randomness, and may be of independent interest in the newly emerging area of adaptive data analysis with a theoretical computer science lens.

研究动机与目标

• 建立通用关系问题（UR）及其推广形式 UR_k 的随机化单向通信复杂度的最优下界。
• 证明任何在严格转置流中解决 ℓ₀-采样或重复元素检测问题的算法，必须使用 Ω(log(1/δ) log²n) 位的存储空间，与已知上界匹配。
• 设计一种新颖的编码方案，将低内存算法转化为违反信息论极限的压缩方法，从而通过反证法证明下界。
• 分析对具有有界互信息的随机化算法进行自适应查询的正确性，为自适应数据分析理论做出贡献。

提出的方法

• 提出一个新的通信问题 UR_k，其中 Alice 和 Bob 必须输出 x 和 y 不同位置的 min{k, |supp(x−y)|} 个不同索引。
• 设计一种编码方案（ENC_k），通过自适应查询一个假设的低内存算法 A，将子集 S ⊆ [n] 压缩为少于信息论允许的位数。
• 在与 A 的交互中注入随机噪声，以确保查询与 A 内部状态之间的互信息保持有界，从而模拟差分隐私。
• 通过将全集 [n] 递归划分为 R = Θ(log(n/k)) 个层级，每一层随机保留一半元素，以放大可区分子集的数量。
• 构建一个解码器（DEC_k），通过在精心构造的输入上使用相同的算法 A，从编码消息中重构原始集合 S。
• 应用切尔诺夫不等式，证明以常数概率，最终集合 S_R 的大小 ≥ k，从而确保协议能够成功恢复 k 个不同的不同索引。

实验结果

研究问题

• RQ1 在失败概率 δ 下，通用关系问题 UR 的最优随机化单向通信复杂度是多少？
• RQ2 对于需找出 k 个不同不同索引的推广形式 UR_k 问题，复杂度如何随参数变化？
• RQ3 能否从 UR_k 上的通信复杂度下界推导出数据流中 ℓ₀-采样和重复检测的紧致下界？
• RQ4 能否利用对低内存算法的自适应查询机制来违反信息论压缩极限，从而证明空间下界？
• RQ5 在注入噪声的情况下，自适应查询与算法状态之间的互信息在保持正确性方面起到什么作用？

主要发现

• 在失败概率 δ 下，通用关系问题 UR 的随机化单向通信复杂度为 Θ(min{n, log(1/δ) log²(n/log(1/δ))}) 位。
• 对于推广形式 UR_k 问题，最优复杂度为 Θ(min{n, t log²(n/t)}) 位，其中 t = max{k, log(1/δ)}。
• 首次建立了严格转置模型中 ℓ₀-采样问题的 Ω(log(1/δ) log²n) 位空间下界，且该下界对 δ > 2^{-n^{0.99}} 成立。
• 即使在整个流中输入向量被保证属于 {0,1}^n，这些下界依然成立，无需依赖大权重。
• 通过利用自适应查询与噪声注入，该编码方案实现了低于信息论最小值的压缩，证明任何此类算法在恢复 k 个元素时至少需要 Ω(k log²(n/k)) 位。
• 对具有有界互信息的自适应查询的分析，为自适应数据分析提供了新的理论工具，具有理论计算机科学的应用前景。