[论文解读] Neural Stochastic Dual Dynamic Programming

Hanjun Dai, Yuan Xue+3 more|arXiv (Cornell University)|Dec 1, 2021

Reinforcement Learning in Robotics参考文献 51被引用 9

一句话总结

本文提出神经随机对偶动态规划（ν-SDDP），一种元学习框架，通过训练神经网络将问题实例映射到低维分段线性值函数近似，实现更快、更高效的 SDDP 优化。通过从过往问题实例中学习，ν-SDDP 在不牺牲解质量的前提下，将求解时间减少数个数量级，尤其在高维与长时域随机优化问题中表现显著。

ABSTRACT

Stochastic dual dynamic programming (SDDP) is a state-of-the-art method for solving multi-stage stochastic optimization, widely used for modeling real-world process optimization tasks. Unfortunately, SDDP has a worst-case complexity that scales exponentially in the number of decision variables, which severely limits applicability to only low dimensional problems. To overcome this limitation, we extend SDDP by introducing a trainable neural model that learns to map problem instances to a piece-wise linear value function within intrinsic low-dimension space, which is architected specifically to interact with a base SDDP solver, so that can accelerate optimization performance on new instances. The proposed Neural Stochastic Dual Dynamic Programming ($ν$-SDDP) continually self-improves by solving successive problems. An empirical investigation demonstrates that $ν$-SDDP can significantly reduce problem solving cost without sacrificing solution quality over competitors such as SDDP and reinforcement learning algorithms, across a range of synthetic and real-world process optimization problems.

研究动机与目标

• 为解决随机对偶动态规划（SDDP）在决策变量增加时表现欠佳的维度灾难问题。
• 克服现有 SDDP 方法将每个问题实例独立处理、求解后丢弃宝贵经验的局限性。
• 开发一种可训练、自我改进的框架，利用过往问题求解经验加速未来优化。
• 通过将决策空间投影到内在低维空间，实现高效、低成本的值函数初始化。
• 无缝集成学习到的值函数到标准 SDDP 求解器中，以实现进一步优化并改善时间-质量权衡。

提出的方法

• 设计了一种特殊的神经网络架构，学习问题特定的低维决策空间投影，以降低维度并缓解维度灾难。
• 神经模型在投影空间中输出最优代价到目标函数（值函数）的分段仿射近似，与 SDDP 的切割平面框架兼容。
• 使用监督学习方法在标准 SDDP 求解生成的最优值函数和动作序列上训练网络。
• 训练数据从 SDDP 迭代过程中构建，利用最终 SDDP 解的切割平面作为监督信号，确保值函数近似的高质量。
• 该方法支持快速推理（ν-SDDP-fast）与高精度优化（ν-SDDP-accurate），后者可集成到 SDDP 中进行额外迭代。
• 该框架实现计算分摊：一旦训练完成，新问题实例可使用神经网络初始化快速求解，且可通过 SDDP 进一步优化以提升性能。

实验结果

研究问题

• RQ1 神经网络能否在相似的多阶段随机优化问题之间泛化，以加速 SDDP 求解？
• RQ2 学习决策空间的低维投影对高维问题中 SDDP 性能有何影响？
• RQ3 学习到的值函数初始化能否显著减少达到高质量解所需的 SDDP 迭代次数？
• RQ4 模型容量（如生成的切割平面数量）对神经值函数近似性能有何影响？
• RQ5 在解质量与运行时间的权衡方面，ν-SDDP 与 SDDP、SDDP-mean 及强化学习基线相比表现如何？

主要发现

• ν-SDDP-fast 的解质量与 SDDP-mean 相当，但仅需约一次 SDDP 前向传播时间，显著降低运行时间。
• 在大规模问题中，SDDP 需要比 ν-SDDP-fast 多 1 至 2 个数量级的运行时间才能达到其解质量。
• 将 ν-SDDP-accurate 集成到 SDDP 中仅进行 10 次额外迭代，即可进一步提升解质量，超越 SDDP 经过大量迭代后的表现。
• 在高方差的合成与真实世界问题中，ν-SDDP 重新发现了最优的买入并持有策略，在误差比率上优于 SDDP-optimal 和 SDDP-mean。
• 当大规模问题中切割平面数量超过 64 时，性能因早期低质量 SDDP 切割平面带来的噪声监督而下降。
• 在低秩投影下，当内在维度低于 80 时，ν-SDDP 的性能显著优于 SDDP-mean，即使在 310 维问题中亦然。