[论文解读] Queue Stability and Probability 1 Convergence via Lyapunov Optimization

Michael J. Neely|arXiv (Cornell University)|Aug 20, 2010

Advanced Wireless Network Optimization参考文献 27被引用 35

一句话总结

本文证明了在系统动态的四阶矩条件较弱的前提下，Lyapunov漂移-惩罚算法可实现几乎必然收敛（概率为1）至时间平均性能界限，如队列稳定性与惩罚最小化。该研究通过伊藤鞅差分的科尔莫戈罗夫大数定律，将经典Lyapunov优化扩展至样本路径收敛的证明。

ABSTRACT

Lyapunov drift and Lyapunov optimization are powerful techniques for optimizing time averages in stochastic queueing networks subject to stability. However, there are various definitions of queue stability in the literature, and the most convenient Lyapunov drift conditions often provide stability and performance bounds only in terms of a time average expectation, rather than a pure time average. We extend the theory to show that for quadratic Lyapunov functions, the basic drift condition, together with a mild bounded fourth moment condition, implies all major forms of stability. Further, we show that the basic drift-plus-penalty condition implies that the same bounds for queue backlog and penalty expenditure that are known to hold for time average expectations also hold for pure time averages with probability 1. Our analysis combines Lyapunov drift theory with the Kolmogorov law of large numbers for martingale differences with finite variance.

研究动机与目标

• 弥合随机队列网络中Lyapunov优化的时间平均期望与纯时间平均之间的差距。
• 确立在有界四阶矩条件下，时间平均期望所导出的性能界限也以概率1成立。
• 将漂移-惩罚框架扩展，以保证队列稳定性与惩罚最小化的时间路径收敛。
• 利用鞅差分的大数定律，提供漂移-惩罚定理的严格样本路径版本。
• 验证标准的O(1/V)惩罚间隙与O(V)队列积压界限几乎必然成立，而不仅是在期望意义下。

提出的方法

• 使用二次Lyapunov函数定义系统状态，并衡量时间槽上的漂移。
• 应用漂移-惩罚条件，推导出惩罚与队列积压时间平均的期望界。
• 对单个时间槽内队列积压与惩罚的变化施加有界四阶矩条件，以确保样本路径收敛。
• 利用具有有限方差的鞅差分的科尔莫戈罗夫大数定律，证明几乎必然收敛。
• 使用一列递增的时间槽$ t_n $来控制队列积压的增长，并证明$ Q(t)/t \to 0 $几乎必然成立。
• 应用泰勒展开与尾部和界，表明队列大小单步变化过大的概率随时间趋于零。

实验结果

研究问题

• RQ1 在何种条件下，Lyapunov优化中基于期望推导出的时间平均性能界限也以概率1成立？
• RQ2 标准的漂移-惩罚算法能否保证队列积压与惩罚成本的几乎必然收敛？
• RQ3 为确保随机网络中时间平均的样本路径收敛，所需与足够的矩条件是什么？
• RQ4 系统增量的有界四阶矩条件如何影响基于Lyapunov算法的收敛行为？
• RQ5 科尔莫戈罗夫大数定律能否应用于证明非马氏、不可数状态的随机网络中时间平均的几乎必然收敛？

主要发现

• 基本的漂移-惩罚条件，结合队列积压与惩罚单步变化的有界四阶矩条件，可确保时间平均性能界限以概率1成立。
• O(1/V)的惩罚间隙与O(V)的队列积压界限几乎必然实现，而不仅是在期望意义下。
• 对每个队列$ Q_k(t) $，时间平均$ \frac{1}{t} \sum_{\tau=0}^{t-1} |Q_k(\tau)| $以概率1收敛至O(V)有界值。
• 时间平均惩罚$ \frac{1}{t} \sum_{\tau=0}^{t-1} y_0(\tau) $以概率1收敛至最优值的O(1/V)范围内。
• 条件$ \mathbb{E}\left\{ (Q_k(t+1) - Q_k(t))^2 \right\} \leq D $蕴含$ \mathbb{E}\left\{ (|Q_k(t+1)| - |Q_k(t)|)^2 \right\} \leq D $，从而可应用大数定律。
• 以概率1，队列积压的单步变化最终小于$ t^{3/4} $，从而确保$ Q(t)/t \to 0 $几乎必然成立。