[论文解读] Randomized Progressive Hedging methods for Multi-stage Stochastic Programming

Gilles Bareilles, Yassine Laguel+3 more|arXiv (Cornell University)|Sep 25, 2020

Risk and Portfolio Optimization参考文献 25被引用 17

一句话总结

本文提出了一种用于多阶段随机规划的随机化渐进式外梯度算法变体，通过逐步求解子问题，消除了在每次迭代中必须等待所有场景求解的需要。通过在单调算子上应用随机固定点方法，该方法实现了高效的并行与异步计算，在异构计算环境中显著加速了大规模问题的收敛速度。

ABSTRACT

Progressive Hedging is a popular decomposition algorithm for solving multi-stage stochastic optimization problems. A computational bottleneck of this algorithm is that all scenario subproblems have to be solved at each iteration. In this paper, we introduce randomized versions of the Progressive Hedging algorithm able to produce new iterates as soon as a single scenario subproblem is solved. Building on the relation between Progressive Hedging and monotone operators, we leverage recent results on randomized fixed point methods to derive and analyze the proposed methods. Finally, we release the corresponding code as an easy-to-use Julia toolbox and report computational experiments showing the practical interest of randomized algorithms, notably in a parallel context. Throughout the paper, we pay a special attention to presentation, stressing main ideas, avoiding extra-technicalities, in order to make the randomized methods accessible to a broad audience in the Operations Research community.

研究动机与目标

• 解决渐进式外梯度算法中的计算瓶颈问题，即在每次迭代中必须同步求解所有场景的子问题，尤其是在大规模多阶段随机规划中。
• 克服在分布式或异构计算环境中因工作节点速度差异或通信不可靠而导致的同步延迟。
• 开发易于使用的、理论基础坚实的随机化渐进式外梯度算法变体，保持收敛性保证的同时提升实际效率。
• 通过将子问题求解与全局同步解耦，实现高效的并行与异步实现。
• 提供一个用户友好的 Julia 工具箱，以促进运筹学社区在实际随机优化问题中的应用。

提出的方法

• 将渐进式外梯度算法重新表述为在单调算子上的固定点迭代，从而可应用随机固定点方法。
• 引入随机子问题选择策略——均匀采样与 p-采样（基于目标中场景重要性的权重）——在仅求解一个场景子问题后更新迭代值。
• 使用随机迭代更新生成新迭代值，而无需等待所有场景求解，从而降低同步开销。
• 利用随机单调算子方法的理论结果，在较弱假设下建立收敛性。
• 实现两种变体：并行随机渐进式外梯度算法（同步）与异步随机渐进式外梯度算法（允许延迟更新）。
• 集成自适应步长规则并提供实用的调参策略，尽管理论步长在实践中可能过于保守。

实验结果

研究问题

• RQ1 在分布式计算中，随机化子问题选择是否能在减少同步开销的同时保持渐进式外梯度算法的收敛性？
• RQ2 在顺序与并行执行下，随机化变体与标准渐进式外梯度算法在收敛速度与解质量方面有何比较？
• RQ3 在大规模随机规划中，场景采样策略（均匀采样 vs. p-采样）对子最优性与可行性间隙有何影响？
• RQ4 在异构或不可靠计算环境中，异步随机渐进式外梯度算法在提升吞吐量与可扩展性方面能达到何种程度？
• RQ5 能否开发出一种实用且易于使用的随机渐进式外梯度算法实现，以支持运筹学应用中的广泛采用？

主要发现

• 采用均匀采样的随机渐进式外梯度算法在子最优性与可行性间隙方面与标准渐进式外梯度算法相当，但单位时间内生成的迭代次数显著更多。
• p-采样变体能更快降低子最优性，但可行性间隙更大，因其优先处理目标权重较高的场景。
• 在7个工作者的并行环境中，并行随机渐进式外梯度算法处理的子问题数量是顺序方法的1.5倍，实现了更快的 $10^{-8}$ 精度收敛。
• 异步随机渐进式外梯度算法处理的子问题数量是顺序方法的4倍，有效消除了通信瓶颈。
• 基于最大延迟推导的理论步长过于保守；实践中单位步长通常表现更优，尽管建议调参以增强鲁棒性。
• 所提出的 Julia 工具箱支持高效部署，并在顺序与并行计算环境中均展现出实际优势。