[论文解读] What can be sampled locally?

Weiming Feng, Yuxin Sun+1 more|arXiv (Cornell University)|Feb 1, 2017

Markov Chains and Monte Carlo Methods参考文献 49被引用 5

一句话总结

本论文研究了在分布式 $Δ$-LOCAL 模型中，是否可以高效地对局部可定义的联合分布（以马尔可夫随机场（MRFs）和吉布斯分布建模）进行采样。论文提出了两种分布式采样算法：LubyGlauber 和 LocalMetropolis，分别实现了 $O(Δ\log n)$ 和 $O(\log n)$ 的混合时间，并建立了采样问题的紧致 $\Theta(\log n)$ 下界，证明了在最大度 $\Delta \geq 6$ 的图中，局部采样与局部构造之间存在显著的复杂度分离。

ABSTRACT

The local computation of Linial [FOCS'87] and Naor and Stockmeyer [STOC'93] concerns with the question of whether a locally definable distributed computing problem can be solved locally: for a given local CSP whether a CSP solution can be constructed by a distributed algorithm using local information. In this paper, we consider the problem of sampling a uniform CSP solution by distributed algorithms, and ask whether a locally definable joint distribution can be sampled from locally. More broadly, we consider sampling from Gibbs distributions induced by weighted local CSPs in the LOCAL model. We give two Markov chain based distributed algorithms which we believe to represent two fundamental approaches for sampling from Gibbs distributions via distributed algorithms. The first algorithm generically parallelizes the single-site sequential Markov chain by iteratively updating a random independent set of variables in parallel, and achieves an $O(Δ\log n)$ time upper bound in the LOCAL model, where $Δ$ is the maximum degree, when the Dobrushin's condition for the Gibbs distribution is satisfied. The second algorithm is a novel parallel Markov chain which proposes to update all variables simultaneously yet still guarantees to converge correctly with no bias. It surprisingly parallelizes an intrinsically sequential process: stabilizing to a joint distribution with massive local dependencies, and may achieve an optimal $O(\log n)$ time upper bound independent of the maximum degree $Δ$ under a stronger mixing condition. We also show a strong $Ω(diam)$ lower bound for sampling independent set in graphs with maximum degree $Δ\ge 6$. This lower bound holds even when every node is aware of the graph. This gives a strong separation between sampling and constructing locally checkable labelings.

研究动机与目标

• 确定是否可以仅使用分布式网络中的局部信息，对局部可定义的联合分布（如约束满足问题（CSPs）中出现的分布）进行高效采样。
• 研究在 $Δ$-LOCAL 模型中分布式采样的基本极限，特别是与可行解的局部计算进行比较。
• 建立在分布式环境中从 MRF 和吉布斯分布中采样的时间复杂度紧致界。
• 展示在相同解空间中，构造一个局部可验证标记（LCL）与从该空间中采样均匀或加权解之间的复杂度存在显著分离。
• 分析解分布中长程相关性的作用及其对采样算法局部性的影响。

提出的方法

• 使用马尔可夫随机场（MRFs）和吉布斯分布对局部可定义的联合分布进行建模，其中某一配置的概率与边和顶点上局部因子的乘积成正比。
• 提出 LubyGlauber 算法，一种基于分布式 Glauber 动力学的采样器，根据局部条件分布更新顶点状态，在满足多布拉辛条件时实现 $O(\Delta\log n)$ 的混合时间。
• 引入 LocalMetropolis 算法，一种新颖的分布式 Metropolis-Hastings 采样器，使用局部提议和接受规则，在更强的混合条件下实现 $O(\log n)$ 的混合时间。
• 采用耦合技术与路径耦合证明混合时间界，利用底层图的结构以及 MRF 中依赖关系的衰减特性。
• 基于最大割问题和硬核分布构造一个困难实例，证明准确采样所需轮数的下界为 $\Omega(\mathrm{diam})$。
• 应用 Hammersley-Clifford 定理以证明吉布斯分布在空间马尔可夫模型中的普遍性，确保该框架能捕捉广泛的一类局部定义分布。

实验结果

研究问题

• RQ1 在 $Δ$-LOCAL 模型中，是否可以仅使用局部信息高效采样一个局部定义的 CSP 的均匀或加权解？
• RQ2 在 MRF 上对吉布斯分布进行分布式采样的最优时间复杂度是多少？是否可以通过简单的局部更新规则实现？
• RQ3 在构造可行解（如最大独立集）与从同一解空间中采样均匀解之间，是否存在根本性的复杂度差距？
• RQ4 解空间中的长程相关性如何影响采样算法的局部性？是否可以通过信息论或基于耦合的论证进行量化？
• RQ5 分布式算法在多少轮内才能以小的总变差距离采样来自吉布斯分布的样本？其紧致下界是什么？

主要发现

• LubyGlauber 算法在满足多布拉辛条件时实现了 $O(\Delta\log n)$ 的混合时间，证明了在顶点数的多对数时间内，许多局部可定义分布可以被高效采样。
• LocalMetropolis 算法在更强的混合条件下实现了最优的 $O(\log n)$ 混合时间，表明当解空间具有充分的局部混合特性时，高效的局部采样是可能的。
• 为一大类 MRF 建立了紧致的 $\Theta(\log n)$ 采样下界，表明在一般图中，$O(\log n)$ 轮是实现常数精度采样的必要且充分条件。
• 在非唯一性区域中，对最大度 $\Delta \geq 6$ 的图中加权独立集的采样，证明了 $\Omega(\mathrm{diam})$ 的下界，表明采样比构造更困难。
• 论文展示了局部采样与局部构造之间存在显著分离：尽管最大独立集可在 $O(\log^* n)$ 轮内构造，但对独立集上均匀分布的采样却需要 $\Omega(\mathrm{diam})$ 轮，即使所有顶点都已知图的完整结构。
• 采样困难并非源于信息不足，而是源于目标分布中固有的长程相关性，这些相关性无法在亚线性轮数内被局部算法捕捉。