[论文解读] Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies

Bin Hu, Kaiqing Zhang+4 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文通过分析梯度方法在LQR、H∞和LQG控制等关键控制问题中的应用，为学习控制策略的策略优化（PO）建立了理论基础。在特定结构条件下，证明了全局收敛性和样本效率，弥合了控制理论、强化学习与大规模优化之间的鸿沟。

ABSTRACT

Gradient-based methods have been widely used for system design and optimization in diverse application domains. Recently, there has been a renewed interest in studying theoretical properties of these methods in the context of control and reinforcement learning. This article surveys some of the recent developments on policy optimization, a gradient-based iterative approach for feedback control synthesis, popularized by successes of reinforcement learning. We take an interdisciplinary perspective in our exposition that connects control theory, reinforcement learning, and large-scale optimization. We review a number of recently-developed theoretical results on the optimization landscape, global convergence, and sample complexity of gradient-based methods for various continuous control problems such as the linear quadratic regulator (LQR), $\mathcal{H}_\infty$ control, risk-sensitive control, linear quadratic Gaussian (LQG) control, and output feedback synthesis. In conjunction with these optimization results, we also discuss how direct policy optimization handles stability and robustness concerns in learning-based control, two main desiderata in control engineering. We conclude the survey by pointing out several challenges and opportunities at the intersection of learning and control.

研究动机与目标

• 为解决控制综合中策略优化（PO）缺乏理论保证的问题，特别是在非凸设置下。
• 统一控制理论、强化学习与大规模优化视角，分析连续控制问题中的PO。
• 识别PO在最优控制与鲁棒控制任务中实现全局收敛和高效样本复杂度的条件。
• 探讨凸松弛（如SDP、SOS）与直接策略优化的非凸优化景观之间的相互作用。
• 识别在PO控制中可扩展性、安全性以及模型驱动与端到端方法集成方面的开放挑战。

提出的方法

• 分析线性二次调节器（LQR）、H∞、风险敏感型及LQG控制问题中策略优化的优化景观。
• 应用基于梯度的迭代方法（如策略梯度、演员-critic）直接优化参数化反馈策略。
• 利用强制性（coerciveness）和梯度主导性（gradient dominance）性质，在较弱假设下建立LQR的全局收敛性。
• 利用二次不变性与结构约束，为鲁棒与结构化控制问题提供收敛性保证。
• 通过李雅普诺夫与耗散性条件，将凸公式（如半定规划、平方和）与非凸PO景观联系起来。
• 将理论分析扩展至多智能体与分布式控制设置，包括平均场与一般和LQ博弈。

实验结果

研究问题

• RQ1 在何种条件下，策略优化可实现线性二次控制问题的全局收敛？
• RQ2 强制性与梯度主导性性质如何在非凸策略优化中实现LQR的全局收敛？
• RQ3 凸松弛（如SDP）与直接策略优化的非凸优化景观之间存在何种关系？
• RQ4 如何在具有结构约束的分布式或多智能体控制设置中实现策略优化的可扩展性与鲁棒性？
• RQ5 在部分已知系统中，集成模型驱动与端到端策略优化的理论挑战与机遇是什么？

主要发现

• 对于线性二次调节器（LQR），由于优化景观中存在强制性与梯度主导性，基于梯度方法的策略优化可实现全局收敛。
• 在状态反馈设置下，先进策略优化方法在适当的结构条件下可保证风险敏感型与鲁棒控制问题的全局收敛。
• 在部分观测（输出反馈）设置下，优化景观为策略优化的性能与收敛行为提供了关键洞见。
• 凸公式（如SDP、SOS）与策略优化的非凸景观之间存在根本性联系，尤其通过李雅普诺夫与耗散性条件体现。
• 关于无约束优化中逃离鞍点与寻找驻点的理论结果，可能可推广至策略优化，但该方向仍为开放问题。
• 在多智能体分布式控制中，可扩展性与鲁棒性仍是重大挑战，尤其在缺乏凸松弛或结构不变性时。