[论文解读] Value Iteration in Continuous Actions, States and Time

Michael Lutter, Shie Mannor+3 more|arXiv (Cornell University)|May 10, 2021

Reinforcement Learning in Robotics参考文献 51被引用 8

一句话总结

本文提出连续拟合值迭代（cFVI），一种动态规划方法，通过已知的控制仿射动力学模型，将值迭代扩展至连续状态和动作空间。通过利用连续时间公式化和闭式最优动作计算，cFVI在仿真中实现了与深度强化学习相当的性能，并在模拟到现实的迁移中展现出更优的鲁棒性，优于使用领域随机化的演员-critic基线方法，在物理系统上表现更优。

ABSTRACT

Classical value iteration approaches are not applicable to environments with continuous states and actions. For such environments, the states and actions are usually discretized, which leads to an exponential increase in computational complexity. In this paper, we propose continuous fitted value iteration (cFVI). This algorithm enables dynamic programming for continuous states and actions with a known dynamics model. Leveraging the continuous-time formulation, the optimal policy can be derived for non-linear control-affine dynamics. This closed-form solution enables the efficient extension of value iteration to continuous environments. We show in non-linear control experiments that the dynamic programming solution obtains the same quantitative performance as deep reinforcement learning methods in simulation but excels when transferred to the physical system. The policy obtained by cFVI is more robust to changes in the dynamics despite using only a deterministic model and without explicitly incorporating robustness in the optimization. Videos of the physical system are available at \url{https://sites.google.com/view/value-iteration}.

研究动机与目标

• 解决经典值迭代在连续状态和动作空间中因离散化带来的局限性。
• 利用已知的动力学模型，实现连续环境下的动态规划。
• 相比深度强化学习基线方法，提升鲁棒性和模拟到现实的迁移性能。
• 为连续时间、控制仿射系统提供最优控制的闭式解。
• 证明值迭代可高效扩展至连续领域，而无需策略梯度优化。

提出的方法

• 使用折扣常数 ρ 和连续时间奖励 r_c，在连续时间中公式化强化学习问题。
• 以汉密尔顿-雅可比-贝尔曼（HJB）方程作为连续时间最优控制的基础。
• 推导出在控制仿射动力学下的最优动作闭式解，实现策略的解析计算。
• 通过使用闭式动作计算值函数目标，迭代应用值迭代，避免策略网络的优化。
• 使用函数逼近（例如神经网络）表示值函数，实现在连续领域中的可扩展学习。
• 利用连续时间公式化，避免时间离散化带来的伪影，提升在物理系统迁移中的稳定性。

实验结果

研究问题

• RQ1 值迭代能否在不进行离散化或策略梯度优化的情况下，扩展至连续状态和动作空间？
• RQ2 具有闭式最优动作的连续时间公式化是否能提升模拟到现实迁移中的鲁棒性？
• RQ3 在物理系统上，cFVI 与深度强化学习方法相比，在性能和策略质量方面表现如何？
• RQ4 是否即使没有显式鲁棒性正则化，确定性模型也能产生比随机深度强化学习方法更鲁棒的策略？
• RQ5 连续时间公式化在实现非线性控制任务中更平滑、对称的策略方面起到何种作用？

主要发现

• cFVI 在非线性控制任务（如 Furuta 摆和小车间）的仿真中，性能与深度强化学习方法相当。
• 在物理系统上，cFVI 显著优于使用均匀初始状态分布的深度强化学习基线方法，尤其当初始状态分布较大时。
• cFVI 学习到的策略具有对称性和平滑性，可成功实现摆的双向摆起，而深度强化学习方法生成的策略则呈非对称性。
• cFVI 在不稳定平衡点附近的价值函数中表现出更清晰的脊状结构，表明在临界状态附近实现了精确控制。
• cFVI 所采用的确定性模型即使未使用领域随机化或显式鲁棒性正则化，也产生了比深度强化学习方法更鲁棒的策略。
• 连续时间公式化相比通过回归最小化 HJB 残差的直接方法，实现了更稳定、高效的优化。