[论文解读] Q-learning for Optimal Control of Continuous-time Systems

Biao Luo, Derong Liu+1 more|arXiv (Cornell University)|Oct 11, 2014

Adaptive Dynamic Programming Control参考文献 42被引用 7

一句话总结

本文提出两种无模型的Q-learning算法——基于策略迭代的QL（PIQL）和基于值迭代的QL（VIQL），用于使用实际系统数据对一般非线性连续时间系统进行最优控制。通过引入连续时间Q函数并应用加权残差法进行参数更新，两种算法均可离线收敛至最优控制策略，仿真结果验证了其在非线性和线性系统中的收敛性与有效性。

ABSTRACT

In this paper, two Q-learning (QL) methods are proposed and their convergence theories are established for addressing the model-free optimal control problem of general nonlinear continuous-time systems. By introducing the Q-function for continuous-time systems, policy iteration based QL (PIQL) and value iteration based QL (VIQL) algorithms are proposed for learning the optimal control policy from real system data rather than using mathematical system model. It is proved that both PIQL and VIQL methods generate a nonincreasing Q-function sequence, which converges to the optimal Q-function. For implementation of the QL algorithms, the method of weighted residuals is applied to derived the parameters update rule. The developed PIQL and VIQL algorithms are essentially off-policy reinforcement learning approachs, where the system data can be collected arbitrary and thus the exploration ability is increased. With the data collected from the real system, the QL methods learn the optimal control policy offline, and then the convergent control policy will be employed to real system. The effectiveness of the developed QL algorithms are verified through computer simulation.

研究动机与目标

• 解决在缺乏精确系统模型的情况下，一般非线性连续时间系统的无模型最优控制问题。
• 将Q-learning从离散时间马尔可夫决策过程扩展至连续时间非线性系统，提出一种新颖的Q函数公式化方法。
• 开发无需系统数学模型即可从任意系统数据中学习最优控制策略的离策略强化学习算法。
• 在连续时间最优控制背景下，建立PIQL与VIQL方法的收敛性理论。
• 通过非线性系统与线性F-16飞机模型的仿真，验证所提算法的有效性。

提出的方法

• 为最优控制引入连续时间Q函数，使Q-learning可应用于连续时间系统。
• 提出基于策略迭代的QL（PIQL）与基于值迭代的QL（VIQL）算法，生成非递增的Q函数序列并收敛至最优Q函数。
• 应用加权残差法（MWR）推导基于基函数逼近Q函数的参数更新规则。
• 采用基函数向量（如状态变量的单项式）对Q函数进行参数化逼近，以表示控制策略。
• 采用离策略学习，允许系统数据任意采集，提升探索能力并支持离线策略学习。
• 在线性参数化条件下，通过推导闭式更新规则，简化LQR问题的PIQL与VIQL算法。

实验结果

研究问题

• RQ1 在无需已知系统模型的前提下，Q-learning能否有效扩展至连续时间非线性系统？
• RQ2 PIQL与VIQL算法在真实系统数据上训练时，是否能收敛至最优控制策略？
• RQ3 如何利用加权残差法推导出连续时间系统中Q函数逼近的稳定且收敛的参数更新规则？
• RQ4 在非线性最优控制问题中，PIQL与VIQL在收敛速度与精度方面有何性能差异？
• RQ5 所提出的QL方法能否成功应用于非线性与线性连续时间系统，包括真实世界飞机模型？

主要发现

• PIQL算法在非线性系统示例中于第7次迭代收敛至最优控制策略，控制增益为 $ K^{(7)} = [0.0067~{}~{}-0.0009~{}~{}-0.0112~{}~{}-0.9860~{}~{}-0.0076] $，与理想最优增益 $ K = [0~{}~{}0~{}~{}0~{}~{}-1~{}~{}0] $ 非常接近。
• VIQL算法在390次迭代后收敛，控制增益为 $ K^{(390)} = [0.0055~{}~{}0.0016~{}~{}-0.0130~{}~{}-0.9813~{}~{}-0.0117] $，接近最优值。
• 两种算法在非线性系统上均实现闭环代价为0.0150，表现出极低代价的有效性能。
• PIQL与VIQL下的闭环状态与控制信号轨迹几乎完全相同且稳定，证实了其鲁棒性与收敛性。
• 对于LQR问题，简化后的PIQL与VIQL算法可精确收敛至解析解，验证了理论框架的正确性。
• 仿真结果表明，PIQL与VIQL均为有效的离策略学习方法，可在无需系统模型的前提下，从真实系统数据中学习最优控制策略。