[论文解读] Power-of-$d$-Choices with Memory: Fluid Limit and Optimality

Jonatha Anselmi, François Dufour|arXiv (Cornell University)|Feb 19, 2018

Advanced Queuing Theory Analysis参考文献 16被引用 5

一句话总结

本文提出了一种增强记忆的 d选一负载均衡算法，其中调度器保留采样服务器的最新状态，以将任务路由至负载最低的服务器。该文证明了渐近最优性：当系统负载 λ < 1 − 1/d 时，在流体极限下所有任务均被路由至空闲服务器；否则，队列长度被紧密地界于 ⌈−log(1−λ)/log(λd+1)⌉ 之内，显著优于无记忆版本的性能。

ABSTRACT

In multi-server distributed queueing systems, the access of stochastically arriving jobs to resources is often regulated by a dispatcher, also known as load balancer. A fundamental problem consists in designing a load balancing algorithm that minimizes the delays experienced by jobs. During the last two decades, the power-of-$d$-choice algorithm, based on the idea of dispatching each job to the least loaded server out of $d$ servers randomly sampled at the arrival of the job itself, has emerged as a breakthrough in the foundations of this area due to its versatility and appealing asymptotic properties. In this paper, we consider the power-of-$d$-choice algorithm with the addition of a local memory that keeps track of the latest observations collected over time on the sampled servers. Then, each job is sent to a server with the lowest observation. We show that this algorithm is asymptotically optimal in the sense that the load balancer can always assign each job to an idle server in the large-system limit. This holds true if and only if the system load $λ$ is less than $1-\frac{1}{d}$. If this condition is not satisfied, we show that queue lengths are tightly bounded by $\left\lceil - \frac{ \log (1-λ)}{\log (λd +1)} ight ceil$. This is in contrast with the classic version of the power-of-$d$-choice algorithm, where at the fluid scale a strictly positive proportion of servers containing $i$ jobs exists for all $i\ge 0$, in equilibrium. Our results quantify and highlight the importance of using memory as a means to enhance performance in randomized load balancing.

研究动机与目标

• 为解决高负载下随机化负载均衡的性能差距，通过在 d选一框架中引入记忆机制。
• 分析记忆是否能在不依赖 d 动态缩放的前提下实现流体最优性——即在大系统极限下将每个任务路由至空闲服务器。
• 量化记忆对重载环境下队列长度界限与系统稳定性的影响力。
• 为具有常数 d 的记忆增强型负载均衡策略建立理论流体极限与最优性结果。
• 将新策略的性能与经典的无记忆 d选一负载均衡进行比较，尤其关注队列长度与稳定性方面。

提出的方法

• 作者在扩散缩放下使用均场流体极限对系统进行建模，分析具有 i 个任务的服务器所占比例的演化过程。
• 定义了 Rj(t) 的递归流体方程，表示具有 j 个任务的服务器数量的流体极限，该方程由任务路由与采样动态推导而来。
• 调度器维护一个本地记忆，记录每次任务到达时从 d 个采样服务器中获得的最轻负载服务器的最新观测值。
• 系统分析假设反馈通过推送机制收集，流体极限通过一系列时间缩放过程与鞅论证推导得出。
• 关键技术工具包括 Azuma–Hoeffding 不等式与 Borel–Cantelli 引理，用于证明经验测度收敛至流体极限。
• 证明依赖于表明流体极限满足涉及 Rj(t)、Rj−1(t) 与 Rj−2(t) 的递归关系，其边界条件由记忆更新规则导出。

实验结果

研究问题

• RQ1 记忆增强的 d选一算法能否实现流体最优性，即在大系统极限下将每个任务路由至空闲服务器？
• RQ2 在何种系统负载阈值 λ 以下，记忆增强算法能确保所有任务均被分配至空闲服务器？
• RQ3 与无记忆 d选一相比，记忆的引入如何影响队列长度的尾部行为？
• RQ4 在何种条件下，记忆增强算法在队列长度界限方面优于经典 d选一算法？
• RQ5 在常数 d 条件下，记忆增强系统的流体极限是否稳定且具有可分析性？

主要发现

• 当系统负载 λ 小于 1 − 1/d 时，记忆增强的 d选一算法实现了流体最优性——即在大系统极限下将每个任务路由至空闲服务器。
• 当 λ ≥ 1 − 1/d 时，最大队列长度被紧密地界于 ⌈−log(1−λ)/log(λd+1)⌉ 之内，显著小于无记忆情况下的结果。
• 与无记忆 d选一不同，后者始终存在严格正比例的服务器具有 i 个任务（对所有 i ≥ 0），而记忆增强版本消除了这种持续的负载不均衡。
• 系统的流体极限由涉及 Rj(t)、Rj−1(t) 与 Rj−2(t) 的递归方程控制，记忆更新规则导致尾部流体动力学坍缩至零负载。
• 流体极限分析证实，记忆机制使系统能够避免经典 d选一中观察到的持续排队现象，尤其是在稳定性阈值附近。
• 结果表明，即使 d 保持恒定，记忆机制仍可实现流体最优性，使其成为动态 d(N) 缩放的可扩展且通信高效的替代方案。