[论文解读] Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems

Joao Paulo Jansch-Porto, Bin Hu+1 more|arXiv (Cornell University)|Jun 4, 2020

Reinforcement Learning in Robotics参考文献 40被引用 5

一句话总结

本文提出了一种数据驱动的自然策略梯度方法，用于马尔可夫跳跃线性系统（MJLS）中的无模型强化学习，MJLS是一种具有连续/离散混合状态的混合MDP。通过利用控制理论进行策略参数化，并使用带有基线的REINFORCE方法，该方法在无需识别系统动态或跳跃转移概率的情况下，学习到最优状态反馈控制，仿真中实现了近似最优性能。

ABSTRACT

Markovian jump linear systems (MJLS) are an important class of dynamical systems that arise in many control applications. In this paper, we introduce the problem of controlling unknown (discrete-time) MJLS as a new benchmark for policy-based reinforcement learning of Markov decision processes (MDPs) with mixed continuous/discrete state variables. Compared with the traditional linear quadratic regulator (LQR), our proposed problem leads to a special hybrid MDP (with mixed continuous and discrete variables) and poses significant new challenges due to the appearance of an underlying Markov jump parameter governing the mode of the system dynamics. Specifically, the state of a MJLS does not form a Markov chain and hence one cannot study the MJLS control problem as a MDP with solely continuous state variable. However, one can augment the state and the jump parameter to obtain a MDP with a mixed continuous/discrete state space. We discuss how control theory sheds light on the policy parameterization of such hybrid MDPs. Then we modify the widely used natural policy gradient method to directly learn the optimal state feedback control policy for MJLS without identifying either the system dynamics or the transition probability of the switching parameter. We implement the (data-driven) natural policy gradient method on different MJLS examples. Our simulation results suggest that the natural gradient method can efficiently learn the optimal controller for MJLS with unknown dynamics.

研究动机与目标

• 解决具有连续与离散状态变量混合的混合MDP中的基于策略的强化学习挑战。
• 将未知离散时间马尔可夫跳跃线性系统（MJLS）的最优控制问题作为强化学习算法的基准。
• 开发一种无需识别系统动态或跳跃参数转移概率的数据驱动策略优化方法。
• 展示自然策略梯度结合REINFORCE估计器与基线在MJLS中学习最优控制器的有效性。
• 通过梯度投影探索结构化控制器设计，揭示简单投影未结构化最优增益的局限性。

提出的方法

• 将跳跃参数与MJLS状态结合，形成具有连续/离散混合状态空间的混合MDP。
• 利用MJLS控制理论的见解对控制策略进行参数化，确保与最优控制解的结构一致性。
• 将自然策略梯度（NPG）方法适配至混合MDP，使用带有简单平均基线的REINFORCE策略梯度估计器。
• 实现一种随机梯度更新规则，从在线策略回溯中估计策略梯度，无需系统辨识。
• 应用梯度投影以在控制器上施加结构约束（例如输出反馈），保持期望的稀疏性或访问限制。
• 通过在估计的自然梯度上进行梯度下降的迭代策略更新，步长通过初始噪声方差进行调节。

实验结果

研究问题

• RQ1 无模型策略梯度方法能否有效学习未知动态与切换参数的MJLS的最优控制器？
• RQ2 与标准强化学习基线相比，自然策略梯度方法在具有连续与离散混合状态变量的混合MDP中表现如何？
• RQ3 基于控制理论的策略参数化对MJLS控制中的样本效率与收敛性有何影响？
• RQ4 当全状态反馈不可用时，能否通过基于梯度的优化有效学习结构化控制器？
• RQ5 将最优未结构化控制器简单投影到结构化空间是否能获得良好控制器，还是需要主动学习？

主要发现

• 结合REINFORCE与平均基线的自然策略梯度方法，成功在不识别系统动态或跳跃转移概率的情况下学习到近似最优控制器。
• 在2个模式的小规模示例中，该方法将期望成本从8.4861（无反馈）降低至2.5704（最优未结构化），并在100次迭代后通过结构化反馈降至6.2226。
• 对于具有100个模式的大规模系统，使用25,000至50,000个样本的批量大小，该方法在策略成本估计中实现了低于5%的相对误差。
• 随着样本数量增加，策略成本的相对误差减小，表明方法具有收敛性与样本效率。
• 将最优未结构化控制器投影到结构化空间（如输出反馈）所得成本（13.3227）甚至高于无反馈情况，凸显主动策略学习的必要性。
• 该方法在系统规模上具有良好可扩展性，因为计算复杂度仅取决于模式访问频率，而非求解耦合的Riccati方程。