[论文解读] Structured Policy Iteration for Linear Quadratic Regulator

Youngsuk Park, Ryan A. Rossi+3 more|arXiv (Cornell University)|Jul 13, 2020

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出结构化策略迭代（S-PI）用于线性二次调节器（LQR），该方法通过学习具有（块）稀疏性或低秩结构的结构化线性策略，提升可解释性、内存效率和分布式计算性能。S-PI 采用带正则化的迭代策略评估与改进，通过平滑化梯度估计在已知模型和无模型设置下实现线性收敛，利用可调惩罚参数平衡性能与结构稀疏性。

ABSTRACT

Linear quadratic regulator (LQR) is one of the most popular frameworks to tackle continuous Markov decision process tasks. With its fundamental theory and tractable optimal policy, LQR has been revisited and analyzed in recent years, in terms of reinforcement learning scenarios such as the model-free or model-based setting. In this paper, we introduce the extit{Structured Policy Iteration} (S-PI) for LQR, a method capable of deriving a structured linear policy. Such a structured policy with (block) sparsity or low-rank can have significant advantages over the standard LQR policy: more interpretable, memory-efficient, and well-suited for the distributed setting. In order to derive such a policy, we first cast a regularized LQR problem when the model is known. Then, our Structured Policy Iteration (S-PI) algorithm, which takes a policy evaluation step and a policy improvement step in an iterative manner, can solve this regularized LQR efficiently. We further extend the S-PI algorithm to the model-free setting where a smoothing procedure is adopted to estimate the gradient. In both the known-model and model-free setting, we prove convergence analysis under the proper choice of parameters. Finally, the experiments demonstrate the advantages of S-PI in terms of balancing the LQR performance and level of structure by varying the weight parameter.

研究动机与目标

• 解决在已知模型与未知模型设置下，LQR 中结构化线性策略在理论与实践层面探索不足的问题。
• 通过在 LQR 策略中强制实施（块）稀疏性或低秩结构，开发一种可解释性强、内存效率高且适合分布式计算的策略方法。
• 为在已知模型与无模型设置下引入正则化的结构化策略迭代提供收敛性分析。
• 通过可调正则化参数，展示 LQR 性能与策略结构之间的权衡关系。

提出的方法

• 将带正则化的 LQR 问题形式化，将结构化策略约束（如稀疏性或低秩）嵌入优化目标中。
• 提出 S-PI，一种结合策略评估与策略改进步骤的迭代算法，采用带正则化惩罚的近端梯度更新。
• 通过基于平滑化的梯度估计器，将 S-PI 扩展至无模型设置，以近似正则化代价函数的真实梯度。
• 采用线搜索过程，通过自适应选择步长，确保稳定且单调的收敛性。
• 通过谱半径与条件数分析，证明在合适参数选择下，可线性收敛至驻点。
• 采用 Frobenius 范数与奇异值分解，衡量策略结构与收敛误差。

实验结果

研究问题

• RQ1 在保持性能的前提下，能否有效学习 LQR 中的结构化线性策略（稀疏性或低秩）？
• RQ2 在引入正则化的情况下，S-PI 算法在已知模型与无模型设置下是否实现线性收敛？
• RQ3 正则化权重如何在策略结构与 LQR 性能之间实现平衡？
• RQ4 固定步长与自适应步长对 S-PI 收敛性与稳定性有何影响？
• RQ5 基于平滑化的梯度估计是否能在无模型设置下实现有效的策略学习？

主要发现

• 在合适参数选择下，S-PI 在已知模型与无模型设置下均能线性收敛至驻点，收敛速率受系统条件数的有界约束。
• 通过调节正则化权重，算法能有效平衡 LQR 性能与策略结构，实现最优性与稀疏性/低秩结构之间的权衡。
• 实验表明，S-PI 在自适应线搜索步长下呈现单调收敛，而固定步长则导致不稳定与非单调行为，尤其在极小步长下更为明显。
• 收敛性分析表明，每轮迭代的误差最多减少 $1 - 1/(2 ilde{ ho})$，其中 $ ilde{ ho}$ 与系统条件数相关。
• 成功收敛的概率下界为 $1 - o( ilde{ ho}^{-1})$，表明在假设条件下具有高概率收敛。
• 该方法在处理结构化策略（包括低秩与稀疏策略）方面表现出鲁棒性，并在拉普拉斯系统上得到实验验证。