[论文解读] Solving Time-Continuous Stochastic Optimal Control Problems: Algorithm Design and Convergence Analysis of Actor-Critic Flow

Mo Zhou, Jianfeng Lu|arXiv (Cornell University)|Feb 27, 2024

Simulation Techniques and Applications被引用 4

一句话总结

本文提出了一种用于求解连续时间随机最优控制问题的演员-评论家流算法，通过将最小二乘时间差分（LSTD）用于值函数估计与策略梯度优化相结合。该方法建立了连续梯度流的全局线性收敛性，并在基准问题上进行了数值验证。

ABSTRACT

We propose an actor-critic framework to solve the time-continuous stochastic optimal control problem. A least square temporal difference method is applied to compute the value function for the critic. The policy gradient method is implemented as policy improvement for the actor. Our key contribution lies in establishing a linear rate of convergence for our proposed actor-critic flow. Theoretical findings are further validated through numerical examples, showing the efficacy of our approach in practical applications.

研究动机与目标

• 解决具有确定性反馈控制且无熵正则化的连续时间随机最优控制问题的挑战。
• 开发一种受机器学习启发的框架，弥合强化学习与最优控制理论之间的鸿沟。
• 确保所提算法在连续时间极限下的理论收敛保证。
• 设计基于最小二乘时间差分（LSTD）的评论家组件，该方法源自伊藤公式，以相较于标准RL TD方法降低误差。
• 在温和假设下实现演员-评论家流的全局线性收敛，为实际部署提供坚实的理论基础。

提出的方法

• 使用汉密尔顿-雅可比-贝尔曼（HJB）方程作为底层PDE框架，构建随机最优控制问题的公式化。
• 基于最小二乘时间差分（LSTD）估计实现评论家组件，该方法源自伊藤引理，以提升相较于原始TD方法的精度。
• 通过策略梯度方法设计演员更新，提供策略改进的显式梯度表达式。
• 在连续极限下分析该算法，推导出演员-评论家流作为连续时间动力系统。
• 利用李雅普诺夫型论证建立全局收敛性，证明在标准正则性和有界性假设下具有线性收敛速率。
• 使用紧集上的方框积分论证，通过状态、控制和值函数导数的有界性，推导出基于反证法的收敛性证明。

实验结果

研究问题

• RQ1 能否将演员-评论家框架严格扩展至具有确定性策略的连续时间随机最优控制问题？
• RQ2 在该连续设置下，所提出的基于LSTD的评论家是否相比标准时间差分方法展现出更优的收敛性与更低的误差？
• RQ3 在连续梯度极限下，演员-评论家流的收敛速率是多少？能否保证全局收敛？
• RQ4 与原始梯度下降相比，具有显式梯度表达式的策略梯度方法在收敛行为上表现如何？
• RQ5 理论收敛结果能否在非平凡的随机控制问题上通过数值方法验证？

主要发现

• 所提出的演员-评论家流在连续梯度流下实现了全局线性收敛，这是在类似基于RL的最优控制方法中不常见的强理论保证。
• 基于LSTD的评论家组件，源自伊藤微积分，相较于标准时间差分方法，在随机控制背景下显著降低了估计误差。
• 具有显式梯度表达式的策略梯度方法在收敛稳定性和速度方面优于原始梯度下降。
• 收敛性证明依赖于基于方框积分和状态、控制及值函数导数有界性的反证法论证。
• 数值示例验证了理论发现，展示了该算法在实际应用中的有效性。
• 收敛速率为线性，且在标准假设下成立，包括漂移和扩散系数的利普希茨连续性与有界性。