[论文解读] Robust Scheduling for Flexible Processing Networks

Ramtin Pedarsani, Jean Walrand+1 more|arXiv (Cornell University)|Oct 12, 2016

Advanced Wireless Network Optimization参考文献 17被引用 3

一句话总结

该论文提出了一种用于灵活处理网络的鲁棒调度框架，基于队列长度变化的随机梯度投影方法，动态分配服务容量，而无需依赖到达率或服务率的先验知识。该方法在温和假设下确保了灵活分叉-汇聚和排队网络中的速率稳定性，仅使用实时队列状态信息即可实现最优资源配置。

ABSTRACT

Modern processing networks often consist of heterogeneous servers with widely varying capabilities, and process job flows with complex structure and requirements. A major challenge in designing efficient scheduling policies in these networks is the lack of reliable estimates of system parameters, and an attractive approach for addressing this challenge is to design robust policies, i.e., policies that do not use system parameters such as arrival and/or service rates for making scheduling decisions. In this paper, we propose a general framework for the design of robust policies. The main technical novelty is the use of a stochastic gradient projection method that reacts to queue-length changes in order to find a balanced allocation of service resources to incoming tasks. We illustrate our approach on two broad classes of processing systems, namely the flexible fork-join networks and the flexible queueing networks, and prove the rate stability of our proposed policies for these networks under non-restrictive assumptions.

研究动机与目标

• 解决大规模处理网络（如数据中心、医疗系统和制造产线）中到达率和服务率等系统参数不可靠或未知的挑战。
• 设计仅依赖可观测系统状态（如队列大小）而非估计参数的调度策略，以增强适应性和鲁棒性。
• 开发一种通用的、无参数的框架，适用于具有重叠服务器能力与相互依赖任务工作流的灵活处理网络。
• 在非限制性假设下证明所提策略的速率稳定性，确保长期系统效率与可扩展性。

提出的方法

• 使用基于队列长度随时间间隔变化的随机梯度投影方法，根据队列长度变化更新服务分配。
• 应用递归更新规则：$ p^{n+1} = [p^n + \beta^n \tilde{E}^n (I - R^T)^{-1} \Delta Q^n]_{\mathcal{C}_{\varepsilon_0}} $，其中 $ \tilde{E}^n $ 表示非空队列。
• 利用 $ \Delta Q^n $（队列大小的变化）估计有效服务与需求之间的不平衡，当 $ Q_k^n > 0 $ 时，该值作为 $ \nu_k - \mu_k p_k^n $ 的无偏估计器。
• 将结果投影到可行集 $ \mathcal{C}_{\varepsilon_0} $ 上，以维持稳定性并确保收敛。
• 利用路由矩阵 $ R $ 和 $ (I - R^T)^{-1} $ 的结构，传播网络中队列变化并估计流量不平衡。
• 仅依赖当前和历史队列大小，完全不依赖到达率、服务率或路由概率。

实验结果

研究问题

• RQ1 能否设计一种调度策略，在灵活处理网络中无需知晓到达率或服务率的情况下确保系统稳定性？
• RQ2 如何仅基于队列长度观测结果，自适应地在竞争性队列间分配服务容量？
• RQ3 在何种条件下，基于随机梯度的策略可收敛至灵活分叉-汇聚与排队网络中的平衡分配？
• RQ4 即使服务率未知或时变，是否可能仅使用局部队列状态信息实现速率稳定性？
• RQ5 所提方法能否推广至具有非可分解服务率或非合作服务器的网络？

主要发现

• 所提出的鲁棒调度策略确保服务分配向量 $ p^n $ 几乎必然收敛至最优分配 $ p^* = \nu_k / \mu_k $，从而在全网实现流量需求的平衡。
• 在所提策略下，灵活排队网络实现了速率稳定性，即对所有队列 $ k $，有 $ \lim_{n \to \infty} \frac{Q_k^n}{n} = 0 $，表明队列大小呈次线性增长。
• 该算法仅使用队列大小变化 $ \Delta Q^n $ 和路由结构 $ R $ 来估计流量不平衡，因此完全自适应且无参数。
• 使用 $ \tilde{E}^n $ 确保仅对非空队列执行更新，从而保持梯度估计器的无偏性。
• 在步长序列 $ \beta^n $ 的温和条件下，收敛性与稳定性结果成立，且无需掌握系统参数信息。
• 该框架具有通用性，适用于广泛类别的处理网络，包括具有复杂任务依赖关系与资源灵活性的云计算、制造和医疗系统。