[论文解读] Self-stabilizing Balls & Bins in Batches

Petra Berenbrink, Tom Friedetzky+4 more|arXiv (Cornell University)|Mar 7, 2016

Distributed systems and fault tolerance参考文献 6被引用 4

一句话总结

本文提出了一种批量的、无限次的球入桶模型，其中每轮有 λn 个球到达，每个非空桶每轮删除一个球，用于建模分布式系统中的动态请求处理。本文分析了 Greedy[d] 分配策略，并证明对于任意到达率 λ < 1，系统具有自稳定特性：当 d=1 时，最大负载为 O(1/(1−λ) · log(n/(1−λ)))，当 d=2 时，最大负载为 O(log(n/(1−λ)))，且 Greedy[2] 在高到达率下相比 Greedy[1] 实现了指数级更优的负载均衡效果。

ABSTRACT

A fundamental problem in distributed computing is the distribution of requests to a set of uniform servers without a centralized controller. Classically, such problems are modeled as static balls into bins processes, where $m$ balls (tasks) are to be distributed to $n$ bins (servers). In a seminal work, Azar et al. proposed the sequential strategy \greedy{d} for $n=m$. When thrown, a ball queries the load of $d$ random bins and is allocated to a least loaded of these. Azar et al. showed that $d=2$ yields an exponential improvement compared to $d=1$. Berenbrink et al. extended this to $m\gg n$, showing that the maximal load difference is independent of $m$ for $d=2$ (in contrast to $d=1$). We propose a new variant of an \emph{infinite} balls into bins process. Each round an expected number of $\lambda n$ new balls arrive and are distributed (in parallel) to the bins. Each non-empty bin deletes one of its balls. This setting models a set of servers processing incoming requests, where clients can query a server's current load but receive no information about parallel requests. We study the \greedy{d} distribution scheme in this setting and show a strong self-stabilizing property: For \emph{any} arrival rate $\lambda=\lambda(n)<1$, the system load is time-invariant. Moreover, for \emph{any} (even super-exponential) round $t$, the maximum system load is (w.h.p.) $O(\frac{1}{1-\lambda}\cdot\log\frac{n}{1-\lambda})$ for $d=1$ and $O(\log\frac{n}{1-\lambda})$ for $d=2$. In particular, \greedy{2} has an exponentially smaller system load for high arrival rates.

研究动机与目标

• 为了在无集中控制的情况下建模动态、分布式的请求处理，其中请求以批量形式到达，且每轮服务器删除一个任务。
• 为了分析在无限、批量型球入桶过程中，Greedy[d] 分配策略的稳定性和负载分布特性。
• 为了证明系统在任意到达率 λ < 1 下均具有自稳定特性，即使从任意初始状态开始。
• 为了量化 d=1 和 d=2 情况下的最大系统负载，揭示在批量动态环境中‘两选一’策略的根本优势。

提出的方法

• 提出一种批量、无限的球入桶过程，其中每轮有 λn 个球到达，每个非空桶每轮删除一个球。
• 引入一个势函数 Ψ(X(t)) 来追踪系统负载并分析收敛性，结合负载不均衡与桶负载分布。
• 采用两部分势函数 Γ(X(t)) = Φ(X(t)) + Ψ(X(t))，其中 Φ 衡量负载不均衡，Ψ 追踪桶负载分布。
• 应用负漂移分析与 Hajek 型稳定性定理，证明正递归性与自稳定特性。
• 使用集中化界限与Lambert W函数近似方法，界定高到达率下的最大负载。
• 利用两选一策略（Greedy[2]）实现对数级负载扩展，与 Greedy[1] 的线性对数级扩展形成对比。

实验结果

研究问题

• RQ1 在任意初始负载和到达率 λ < 1 的条件下，是否可以实现批量、无限的球入桶过程在并行到达与删除下的自稳定？
• RQ2 在该批量动态模型中，Greedy[1] 策略的最大系统负载是多少？其随 n 和 λ 的变化规律如何？
• RQ3 在高到达率场景下，Greedy[2] 策略与 Greedy[1] 在负载分布与稳定性方面有何差异？
• RQ4 即使从指数级高的负载状态开始，系统是否仍能维持较低的最大负载？若能，其稳定速度如何？
• RQ5 在请求同时到达且无法相互观测的批量并行环境中，是否仍能保持并有效利用‘两选一’策略的优势？

主要发现

• 对于 Greedy[1]，任意时刻的最大系统负载（以高概率 w.h.p.）被限制在 O(1/(1−λ) · log(n/(1−λ)))，即使当 λ = 1 − 1/n 时，该值也变为超线性。
• 对于 Greedy[2]，最大系统负载（以高概率 w.h.p.）被限制在 O(log(n/(1−λ)))，即使当 λ → 1 时仍保持对数级扩展。
• 系统具有自稳定特性：其为正递归的，且在任意（甚至超指数级）时间 t，负载（以高概率）处于较低水平，表明具有强稳定保证。
• 分析证明势函数 Ψ(X(t))（以高概率）为 O(n · log n)，结合漂移分析，确认了负载边界的正确性。
• 本文为 Greedy[1] 建立了紧致的下界，当 λ ≤ 1 − 1/poly(n) 时，该下界与上界渐近一致，证实了边界的紧致性。
• 两选一策略相比单选策略在负载分布上实现了指数级改进，尤其在高到达率（λ → 1）时至关重要。