[论文解读] Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees

Mo Zhou, Jianfeng Lu|arXiv (Cornell University)|Jan 31, 2022

Frequency Control in Power Systems被引用 4

一句话总结

本文提出了一种单时间尺度的演员-评论家算法，用于求解线性二次调节器（LQR）问题，其中评论家采用最小二乘时序差分（LSTD）方法，演员采用自然策略梯度方法，实现了在样本复杂度 𝒪(ε⁻¹ log(ε⁻¹)²) 内收敛至 ε-最优解，这是在 LQR 问题的单时间尺度框架中首次实现此类可证明的保证。

ABSTRACT

We propose a single time-scale actor-critic algorithm to solve the linear quadratic regulator (LQR) problem. A least squares temporal difference (LSTD) method is applied to the critic and a natural policy gradient method is used for the actor. We give a proof of convergence with sample complexity $\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$. The method in the proof is applicable to general single time-scale bilevel optimization problem. We also numerically validate our theoretical results on the convergence.

研究动机与目标

• 解决单时间尺度演员-评论家方法在最优控制中收敛性的问题，尤其是在缺乏精确低层优化的情况下。
• 通过同时分析演员和评论家的更新，克服双层优化中常见的误差传播问题。
• 为单时间尺度演员-评论家算法在 LQR 设置下提供首个具有显式样本复杂度的收敛性证明。
• 构建一个联合追踪评论家误差与演员损失的李雅普诺夫函数，以建立收缩性与收敛性。
• 将该方法的理论框架扩展至一般的单时间尺度双层优化问题，超越 LQR 的范围。

提出的方法

• 应用最小二乘时序差分（LSTD）方法，通过显式梯度计算与基于样本的近似，估计评论家的价值函数。
• 使用自然策略梯度更新演员，以基于评论家的价值估计提升策略性能。
• 构建一个复合李雅普诺夫函数，结合评论家估计误差与演员损失（J(Kₜ) − J(K*))，以联合分析收敛性。
• 在两种条件下建立李雅普诺夫函数的收缩性：当评论家误差或演员损失较大时，或两者均较小时。
• 利用谱范数与矩阵常数（如 σ_min(D_ε), c_D, c₃）推导更新步长的界，以控制误差传播。
• 采用恒定步长 βₜ 与 αₜ，确保李雅普诺夫函数的收缩率（1 − βₜc₄），从而实现收敛。

实验结果

研究问题

• RQ1 单时间尺度演员-评论家方法是否能在不依赖两个独立时间尺度的情况下，实现对 LQR 问题的收敛？
• RQ2 具备可证明保证的单时间尺度演员-评论家算法在 LQR 问题中可达到的最优样本复杂度是多少？
• RQ3 在缺乏精确低层优化的情况下，如何联合分析演员与评论家误差，以确保收敛性？
• RQ4 所提出的方法能否推广至其他单时间尺度双层优化问题？
• RQ5 李雅普诺夫函数在确保联合演员-评论家更新过程中收缩性与稳定性方面发挥何种作用？

主要发现

• 所提出的单时间尺度演员-评论家方法在样本复杂度 𝒪(ε⁻¹ log(ε⁻¹)²) 内实现收敛至 ε-最优解，显著优于现有双时间尺度方法。
• 该方法通过构造一个在评论家误差或演员损失较大时随时间收缩的李雅普诺夫函数，证明了收敛性，确保全局收敛。
• 该分析不依赖于高层损失的强凸性，使其适用于比以往工作更广泛的问题类别。
• 通过梯度差值的界与步长控制，建立了李雅普诺夫函数的收缩性，确保其期望值以速率 (1 − βₜc₄) 递减。
• 当评论家误差与演员损失均低于 ε/2 时，李雅普诺夫函数保持在 ε 以下，表明已收敛至最优解。
• 该方法在无需在每一步精确求解评论家问题的情况下实现收敛，从而实现了高效且实用的实现。