[论文解读] Real-Time Reinforcement Learning

Simon Ramstedt, Christopher Pal|PolyPublie (École Polytechnique de Montréal)|Sep 1, 2019

Reinforcement Learning in Robotics被引用 15

一句话总结

本文提出实时强化学习（RTRL），一种新型框架，通过在决策过程中建模状态与动作的同步演化，解决了经典马尔可夫决策过程（MDPs）与实时环境之间的不匹配问题。该框架提出实时演员-critic（RTAC）算法，通过基于状态-动作对的策略和在RTMDP公式下的改进离策略学习，在实时与非实时设置中均优于软演员-critic（SAC）。

ABSTRACT

Les processus de décision markovien (MDP), le cadre mathématiques sous-jacent à la plupart des algorithmes de l'apprentissage par renforcement (RL) est souvent utilisé d'une manière qui suppose, à tort, que l'état de l'environnement d'un agent ne change pas pendant la sélection des actions. Puisque les systèmes RL basés sur les MDP classiques commencent à être appliqués dans les situations critiques pour la sécurité du monde réel, ce décalage entre les hypothèses sous-jacentes aux MDP classiques et la réalité du calcul en temps réel peut entraîner des résultats indésirables. Dans cette thèse, nous introduirons un nouveau cadre dans lequel les états et les actions évoluent simultanément, nous montrerons comment il est lié à la formulation MDP classique. Nous analyserons des algorithmes existants selon la nouvelle formulation en temps réel et montrerons pourquoi ils sont inférieurs, lorsqu'ils sont utilisés en temps réel. Par la suite, nous utiliserons ces perspectives pour créer un nouveau algorithme Real-Time Actor Critic qui est supérieur au Soft Actor Critic contrôle continu de l'état de l'art actuel, aussi bien en temps réel qu'en temps non réel.

研究动机与目标

• 解决经典MDP假设在动作选择期间暂停，与真实世界实时环境中状态在决策过程中持续演化的根本性不匹配问题。
• 形式化一种新的决策框架——实时马尔可夫决策过程（RTMDP），以捕捉状态与动作的同步推进。
• 分析为何现有离策略算法（如SAC）在实时设置中表现次优，原因在于转移动态与奖励传播的结构不匹配。
• 设计并评估一种新算法——实时演员-critic（RTAC），该算法原生优化于RTMDP框架，优于当前最先进方法。
• 证明RTAC通过利用RTMDP公式的结构实现更高效的离策略学习，在实时与非实时环境中均实现更优性能。

提出的方法

• 提出一种新框架——实时马尔可夫决策过程（RTMDP），其中系统状态定义为状态-动作对(s_t, a_t)，且在时间步之间同步演化。
• 引入新策略π̃，将状态-动作对映射到动作，使智能体能够基于当前状态-动作配置推理未来动作。
• 推导出修改后的动作价值函数q_RTMDP^π̃(s_t, a_t, a_t+1)，以考虑由于两步依赖链（动作a_t影响a_t+1，后者再影响奖励与下一状态）导致的延迟奖励效应。
• 通过证明状态价值函数v_RTMDP^π̃(s_t, a_t)可直接用于离策略训练，实现离策略学习的适应，因为无论选择何种动作a_t，s_t, a_t, s_t+1的转移始终有效。
• 基于软演员-critic（SAC）框架开发实时演员-critic（RTAC）算法，但重构为基于RTMDP公式的结构，提升样本效率与学习稳定性。
• 采用部分模拟技术，利用已知动力学生成合成经验，提升离策略训练中的数据效率。

实验结果

研究问题

• RQ1 为何标准离策略强化学习算法（如SAC）在实时环境中表现不佳，尽管其在回合制设置中表现优异？
• RQ2 经典MDP与实时动力学之间的结构不匹配如何影响学习过程与样本效率？
• RQ3 能否通过建立一个建模状态与动作并发演化的新型强化学习框架，实现实时控制中更有效且更稳定的离策略学习？
• RQ4 RTMDP公式在实时与非实时环境中相较于SAC等现有算法，性能提升的幅度有多大？
• RQ5 为充分挖掘RTMDP框架的结构潜力，对演员-critic架构需进行哪些修改？

主要发现

• RTAC在实时与非实时环境中均优于软演员-critic（SAC），在多个连续控制基准测试中表现出一致的性能提升。
• RTMDP中的动作价值函数因奖励传播存在延迟，需采用两步更新机制，导致直接应用标准离策略算法时表现次优。
• RTMDP中的状态价值函数可直接用于离策略学习，且无需掌握完整动力学知识，从而实现更稳定高效的训练。
• RTMDP框架支持对转移过程的部分模拟，可生成合成经验，提升数据效率与样本复用率。
• 实证结果表明，RTAC在累积回报与收敛速度方面优于SAC，尤其在动作选择时间受限的实时环境中表现更优。
• 所提出的RTAC算法表明，超越单纯算法修改，重新思考底层决策框架本身，可显著提升实时强化学习的性能。