[论文解读] The Power of Online Learning in Stochastic Network Optimization

Longbo Huang, Xin Liu+1 more|arXiv (Cornell University)|Apr 6, 2014

Advanced Wireless Network Optimization参考文献 23被引用 5

一句话总结

本文提出OLAC和OLAC2，这两种在线学习增强的控制算法利用双重学习机制，将历史系统信息整合到实时网络控制中，在系统统计特性未知的随机网络优化中，实现了接近最优的效用-延迟权衡以及次线性收敛时间。核心贡献在于首次展示了在线学习在此领域中的强大作用，与传统的基于Lyapunov的方法相比，显著降低了延迟并缩短了收敛时间。

ABSTRACT

In this paper, we investigate the power of online learning in stochastic network optimization with unknown system statistics {\it a priori}. We are interested in understanding how information and learning can be efficiently incorporated into system control techniques, and what are the fundamental benefits of doing so. We propose two \emph{Online Learning-Aided Control} techniques, $\mathtt{OLAC}$ and $\mathtt{OLAC2}$, that explicitly utilize the past system information in current system control via a learning procedure called \emph{dual learning}. We prove strong performance guarantees of the proposed algorithms: $\mathtt{OLAC}$ and $\mathtt{OLAC2}$ achieve the near-optimal $[O(ε), O([\log(1/ε)]^2)]$ utility-delay tradeoff and $\mathtt{OLAC2}$ possesses an $O(ε^{-2/3})$ convergence time. $\mathtt{OLAC}$ and $\mathtt{OLAC2}$ are probably the first algorithms that simultaneously possess explicit near-optimal delay guarantee and sub-linear convergence time. Simulation results also confirm the superior performance of the proposed algorithms in practice. To the best of our knowledge, our attempt is the first to explicitly incorporate online learning into stochastic network optimization and to demonstrate its power in both theory and practice.

研究动机与目标

• 解决在系统统计特性事先未知的情况下，随机网络优化的挑战。
• 改进现有基于Lyapunov的方法，后者存在高延迟和收敛缓慢的问题。
• 研究如何将在线学习显式地整合到系统控制中以提升性能。
• 开发在保持低计算复杂度的同时具备强理论保证的算法。
• 展示在动态网络系统中，学习增强控制的实际与理论优势。

提出的方法

• 提出OLAC和OLAC2两种在线学习增强的控制技术，利用双重学习从历史系统状态中估计最优拉格朗日乘子。
• 采用双重学习过程，将对偶次梯度收敛与系统状态的统计收敛相联系，实现时变控制策略。
• 引入增广问题技术，统一非平稳控制策略系统中的Lyapunov漂移分析与对偶性。
• 利用随机逼近与统计学习，将最优控制转化为学习问题，降低对先验系统统计的依赖。
• 将该框架应用于一般随机网络优化问题，包括可通过Backpressure求解的问题，同时保持低计算复杂度。
• 通过基于仿真的验证，采用具有随机信道状态的网络效用最大化问题，将性能与Backpressure进行对比。

实验结果

研究问题

• RQ1 在线学习能否有效集成到随机网络优化中，以改善延迟和收敛性能？
• RQ2 在统计特性未知的系统中，学习增强控制的理论性能保证是什么？
• RQ3 在线学习能否在保持接近最优效用-延迟权衡的同时减少收敛时间？
• RQ4 双重学习相比传统Lyapunov方法如何实现更快的收敛？
• RQ5 证明时变、基于学习的控制策略的收敛性与性能，需要哪些分析技术？

主要发现

• OLAC和OLAC2在小$\theta$下实现了接近最优的效用-延迟权衡$[O(\theta), O((\theta)^{-2})]$，与已知最佳算法的理论极限一致。
• OLAC2实现了$O(\theta^{-2/3})$的收敛时间，相比标准Lyapunov方法的$\theta^{-1}$收敛时间有显著提升。
• 仿真结果表明，在$V=100$时，OLAC和OLAC2将平均延迟从Backpressure的210个时隙降低至约20个时隙（均匀信道情况）。
• 在$V=500$条件下，OLAC2在约80个时隙内收敛至最优拉格朗日乘子，相比Backpressure将收敛时间减少了约2500倍。
• OLAC中的虚拟队列大小与OLAC2中的实际队列大小均快速收敛，使早期到达的用户能够快速离开，等待时间极短。
• 双重学习机制有效利用了历史系统信息，显著加速了收敛过程，同时未牺牲最优性。