[论文解读] Price decomposition in large-scale stochastic optimal control

Kengy Barty, Pierre Carpentier+2 more|arXiv (Cornell University)|Dec 9, 2010

Stochastic processes and financial applications参考文献 18被引用 4

一句话总结

本文提出一种基于分解的算法，用于大规模随机最优控制问题，采用拉格朗日松弛和对偶过程的统计近似。证明了算法的收敛性，并表明在特定条件下，最优控制策略变为部分去中心化，从而通过解耦子系统并在保留共享噪声依赖关系的前提下，实现高维问题的高效求解。

ABSTRACT

We are interested in optimally driving a dynamical system that can be influenced by exogenous noises. This is generally called a Stochastic Optimal Control (SOC) problem and the Dynamic Programming (DP) principle is the natural way of solving it. Unfortunately, DP faces the so-called curse of dimensionality: the complexity of solving DP equations grows exponentially with the dimension of the information variable that is sufficient to take optimal decisions (the state variable). For a large class of SOC problems, which includes important practical problems, we propose an original way of obtaining strategies to drive the system. The algorithm we introduce is based on Lagrangian relaxation, of which the application to decomposition is well-known in the deterministic framework. However, its application to such closed-loop problems is not straightforward and an additional statistical approximation concerning the dual process is needed. We give a convergence proof, that derives directly from classical results concerning duality in optimization, and enlghten the error made by our approximation. Numerical results are also provided, on a large-scale SOC problem. This idea extends the original DADP algorithm that was presented by Barty, Carpentier and Girardeau (2010).

研究动机与目标

• 通过将大规模问题分解为更小、可处理的子问题，解决随机最优控制中的维数灾难问题。
• 将以往仅用于确定性环境的分解技术，拓展至闭环随机控制框架。
• 开发一种对偶过程的统计近似方法，使拉格朗日松弛在动态、基于反馈的控制问题中具有实际可实施性。
• 利用经典对偶理论证明所提算法的收敛性，并量化统计近似引入的误差。
• 在涉及多个单元和随机扰动的大规模电力管理问题上，验证该方法的有效性。

提出的方法

• 该方法采用拉格朗日松弛，将原始随机最优控制问题分解为更小的子问题。
• 引入对偶过程的统计近似，以处理在外部噪声存在下闭环反馈控制的复杂性。
• 利用噪声过程在特定独立性假设下，贝尔曼函数的可加结构。
• 该算法迭代求解仅依赖于局部状态变量和边缘噪声分布的子问题，从而降低计算负担。
• 通过优化中的经典对偶结果建立收敛性，误差界由对偶过程近似的质量决定。
• 在包含多个电力单元和随机需求/来流过程的大规模能源管理问题上，对方法进行了数值验证。

实验结果

研究问题

• RQ1 尽管反馈策略缺乏直接分解性，拉格朗日松弛是否能有效应用于闭环随机最优控制问题？
• RQ2 在何种条件下，最优控制策略会变为部分去中心化，仅依赖于局部和共享的噪声过程？
• RQ3 如何在不牺牲收敛性保证的前提下，对随机动态规划中的对偶过程进行统计近似？
• RQ4 统计近似在对偶变量中引入的理论误差界是什么？
• RQ5 所提方法能否高效求解具有高维状态空间的大规模随机最优控制问题？

主要发现

• 当系统代价和动态为可加形式，且噪声过程在给定共享变量下条件独立时，最优反馈策略为部分去中心化。
• 在给定条件下，贝尔曼函数保持可加性，从而可分解为独立子问题。
• 该方法通过利用经典对偶理论实现收敛，误差界由对偶过程的统计近似质量决定。
• 数值结果证实该方法在大规模电力管理问题上的有效性，展现出良好的可扩展性和计算可行性。
• 共享噪声（如共同的需求或来流过程）在最小化阶段引入耦合，但若使用边缘分布，则不会阻碍分解。
• 与标准动态规划相比，该方法在高维设置下表现更优，避免了状态空间复杂度的指数增长。