[论文解读] The Optimality of Correlated Sampling

Mohammad Bavarian, Badih Ghazi+4 more|arXiv (Cornell University)|Dec 4, 2016

Complexity and Algorithms in Graphs参考文献 6被引用 11

一句话总结

本文证明了广为人知的相关采样策略——对于总变差距离为 $\delta$ 的分布，其不一致概率至多为 $2\delta/(1+\delta)$——在本质上是最优的。通过引入并求解受限一致问题，作者建立了紧致的下界，解决了关于该方法最优性的一个长期悬而未决的问题。

ABSTRACT

In the problem, two players are given probability distributions $P$ and $Q$, respectively, over the same finite set, with access to shared randomness. Without any communication, the two players are each required to output an element sampled according to their respective distributions, while trying to minimize the probability that their outputs disagree. A well known strategy due to Kleinberg-Tardos and Holenstein, with a close variant (for a similar problem) due to Broder, solves this task with disagreement probability at most $2 \delta/(1+\delta)$, where $\delta$ is the total variation distance between $P$ and $Q$. This strategy has been used in several different contexts, including sketching algorithms, approximation algorithms based on rounding linear programming relaxations, the study of parallel repetition and cryptography. In this paper, we give a surprisingly simple proof that this strategy is essentially optimal. Specifically, for every $\delta \in (0,1)$, we show that any correlated sampling strategy incurs a disagreement probability of essentially $2\delta/(1+\delta)$ on some inputs $P$ and $Q$ with total variation distance at most $\delta$. This partially answers a recent question of Rivest. Our proof is based on studying a new problem that we call constrained agreement. Here, the two players are given subsets $A \subseteq [n]$ and $B \subseteq [n]$, respectively, and their goal is to output an element $i \in A$ and $j \in B$, respectively, while minimizing the probability that $i eq j$. We prove tight bounds for this question, which in turn imply tight bounds for correlated sampling. Though we settle basic questions about the two problems, our formulation leads to more fine-grained questions that remain open.

研究动机与目标

• 建立用于绘图、近似算法和密码学中的相关采样策略的理论最优性。
• 解决 Rivest 最近提出的一个开放问题，即 $2\delta/(1+\delta)$ 界在相关采样中的紧致性。
• 引入并分析受限一致问题，作为研究相关采样下界的新框架。
• 推导受限一致问题的紧致界，这些界可直接推出相关采样的紧致界。
• 识别并形式化尽管核心最优性问题已解决，但仍然存在的新细粒度问题。

提出的方法

• 引入受限一致问题：两名玩家分别持有 $[n]$ 的子集 $A$ 和 $B$，必须分别输出 $A$ 和 $B$ 中的元素，以最小化不一致概率。
• 使用概率论和信息论技术分析受限一致问题的最优策略。
• 建立受限一致问题与相关采样之间的对偶关系，表明一个问题的界可推出另一个问题的界。
• 通过将相关采样归约到受限一致问题，证明任何策略在某些总变差距离 $\leq \delta$ 的输入下，不一致概率至少为 $2\delta/(1+\delta)$。
• 采用基于耦合和极值分布的新分析技术，推导出紧致下界。
• 通过构造匹配的下界实例，证明已知策略在低阶项意义下是最优的。

实验结果

研究问题

• RQ1 对于所有 $\delta \in (0,1)$，相关采样的 $2\delta/(1+\delta)$ 界是否紧致？
• RQ2 对于总变差距离为 $\delta$ 的分布，任何相关采样策略可实现的最小不一致概率是多少？
• RQ3 受限一致问题能否被最优求解，其解与相关采样有何关系？
• RQ4 是否存在总变差距离为 $\delta$ 的分布，使得任何相关采样策略的不一致概率均无法优于 $2\delta/(1+\delta)$？
• RQ5 在已知界之外，最优相关采样策略的细粒度结构特性是什么？

主要发现

• 实现不一致概率至多为 $2\delta/(1+\delta)$ 的相关采样策略，对所有 $\delta \in (0,1)$ 均渐近最优。
• 对每个 $\delta \in (0,1)$，均存在总变差距离不超过 $\delta$ 的输入分布 $P$ 和 $Q$，使得任何相关采样策略的不一致概率至少为 $2\delta/(1+\delta)$。
• 受限一致问题的最小不一致概率具有紧致下界 $2\delta/(1+\delta)$，与已知上界一致。
• 通过将相关采样归约到受限一致问题，证明了该策略的最优性，表明该界在最坏情况下是紧致的。
• 分析表明，即使在附加结构或假设下，$2\delta/(1+\delta)$ 界也无法在一般情况下进一步改进。
• 本文通过确认在相关采样背景下该界的紧致性，解决了 Rivest 最近提出的问题。