[论文解读] Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon

Ben Hambly, Renyuan Xu+1 more|arXiv (Cornell University)|Nov 20, 2020

Reinforcement Learning in Robotics参考文献 47被引用 11

一句话总结

本文提出用于求解已知和未知系统参数下有限时域噪声线性二次型调节器（LQR）问题的策略梯度方法。在弱假设下建立了全局线性收敛性，并在无模型强化学习和实际应用（如最优资产抛售）中表现出稳健性能，在经验测试中相比基于模型的基准方法最高提升20%，且对模型误设更具鲁棒性。

ABSTRACT

We explore reinforcement learning methods for finding the optimal policy in the linear quadratic regulator (LQR) problem. In particular, we consider the convergence of policy gradient methods in the setting of known and unknown parameters. We are able to produce a global linear convergence guarantee for this approach in the setting of finite time horizon and stochastic state dynamics under weak assumptions. The convergence of a projected policy gradient method is also established in order to handle problems with constraints. We illustrate the performance of the algorithm with two examples. The first example is the optimal liquidation of a holding in an asset. We show results for the case where we assume a model for the underlying dynamics and where we apply the method to the data directly. The empirical evidence suggests that the policy gradient method can learn the global optimal solution for a larger class of stochastic systems containing the LQR framework and that it is more robust with respect to model mis-specification when compared to a model-based approach. The second example is an LQR system in a higher dimensional setting with synthetic data.

研究动机与目标

• 开发并分析有限时域LQR问题中具有随机动力学的最优控制策略梯度方法。
• 在弱假设下建立策略梯度方法的全局线性收敛保证，即使系统参数未知亦成立。
• 评估无模型策略梯度学习与基于模型的方法在真实世界和合成LQR设置下的鲁棒性和性能。
• 展示该方法在高维系统和实际应用（如最优资产抛售）中的有效性。

提出的方法

• 本文在反馈控制策略矩阵的参数空间中采用策略梯度下降，通过期望代价函数的梯度更新策略。
• 在系统动力学和噪声结构的弱假设下，证明了已知和未知参数情形下的全局线性收敛性。
• 提出一种投影策略梯度方法以处理策略空间中的约束，确保优化过程中的可行更新。
• 将该方法应用于两个测试案例：使用真实市场数据的金融资产最优抛售，以及具有4维状态和2维控制的高维合成LQR系统。
• 对于未知参数，算法从采样轨迹中估计系统矩阵，并使用随机梯度下降更新策略。
• 通过归一化误差随迭代次数的衰减评估收敛性，并对步长选择进行敏感性分析。

实验结果

研究问题

• RQ1 在弱假设下，策略梯度方法是否能在具有噪声和随机动力学的有限时域LQR问题中实现全局线性收敛？
• RQ2 在最优资产抛售任务中，无模型策略梯度学习的性能与Almgren-Chriss等基于模型的方法相比如何？
• RQ3 与参数化基于模型的方法相比，策略梯度方法对模型误设的鲁棒性如何？
• RQ4 在具有合成数据的高维LQR问题中，该算法的可扩展性如何？
• RQ5 在未知参数设置下，步长选择对收敛性和稳定性有何影响？

主要发现

• 在五种不同的金融股票中，策略梯度方法在样本内和样本外均比Almgren-Chriss解实现了20%的期望代价改进。
• 在高维合成LQR情形下，当参数已知且步长为0.0005时，归一化误差在80次迭代内降至10⁻²以下。
• 在参数未知情形下，收敛速度更慢且需要更多迭代，凸显了在策略优化过程中学习系统动力学的挑战。
• 步长选择显著影响收敛性：过小（如10⁻⁵）导致进展缓慢，过大（如2×10⁻³）则引起发散。
• 无模型策略梯度方法对模型误设的鲁棒性优于依赖强参数假设的Almgren-Chriss框架。
• 实证结果表明，策略梯度方法能够学习更广泛类别的随机系统（超越严格LQR框架）的全局最优解。