[论文解读] Value Gradient weighted Model-Based Reinforcement Learning

Claas Voelcker, Victor Liao+2 more|arXiv (Cornell University)|Apr 4, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出 VaGraM，一种基于模型的强化学习中的值梯度加权模型损失，通过优先关注对值函数估计影响较大的状态维度，提升了样本效率和鲁棒性。通过将经验值函数的梯度整合到模型损失中，VaGraM 稳定了训练过程，并在 Mujoco 基准测试中实现了与最大似然方法相当的性能，尤其在模型容量较低或状态维度存在噪声的情况下表现更优。

ABSTRACT

Model-based reinforcement learning (MBRL) is a sample efficient technique to obtain control policies, yet unavoidable modeling errors often lead performance deterioration. The model in MBRL is often solely fitted to reconstruct dynamics, state observations in particular, while the impact of model error on the policy is not captured by the training objective. This leads to a mismatch between the intended goal of MBRL, enabling good policy and value learning, and the target of the loss function employed in practice, future state prediction. Naive intuition would suggest that value-aware model learning would fix this problem and, indeed, several solutions to this objective mismatch problem have been proposed based on theoretical analysis. However, they tend to be inferior in practice to commonly used maximum likelihood (MLE) based approaches. In this paper we propose the Value-gradient weighted Model Learning (VaGraM), a novel method for value-aware model learning which improves the performance of MBRL in challenging settings, such as small model capacity and the presence of distracting state dimensions. We analyze both MLE and value-aware approaches and demonstrate how they fail to account for exploration and the behavior of function approximation when learning value-aware models and highlight the additional goals that must be met to stabilize optimization in the deep learning setting. We verify our analysis by showing that our loss function is able to achieve high returns on the Mujoco benchmark suite while being more robust than maximum likelihood based approaches.

研究动机与目标

• 解决基于模型强化学习中的目标不匹配问题，即模型训练侧重于状态预测精度，而非策略性能。
• 克服最大似然估计（MLE）在 MBRL 中的局限性，后者未能考虑模型误差对下游规划和策略优化的影响。
• 通过解决优化轨迹不稳定性与早期训练覆盖不足的问题，在深度学习设置中稳定值感知模型学习。
• 提升对无关或干扰性状态维度以及小模型容量的鲁棒性，其中基于 MLE 的模型性能会显著下降。
• 开发一种通用的、可微的损失函数，使模型学习与值函数对模型误差的敏感性对齐。

提出的方法

• 提出一种新型模型损失函数 VaGraM，通过使用经验值函数关于预测状态的梯度来重加权均方误差（MSE）损失。
• 利用值函数梯度的幅值作为策略对模型误差敏感度的代理，从而优先学习对值估计具有显著影响的状态维度。
• 将 VaGraM 集成到标准 MBRL 流程中，在模型拟合过程中用值感知监督替代标准的基于 MLE 的模型训练。
• 在动力学模型的端到端训练中应用该损失，使用值函数的可微近似来引导模型学习朝向与策略相关区域。
• 通过在基于 MBPO 的 MBRL-Lib 框架中实现为模块化组件，确保损失的可扩展性与与标准 MBRL 框架的兼容性。
• 利用经验值函数梯度动态调整每个状态维度的损失权重，使模型更新聚焦于状态空间中高影响区域。

实验结果

研究问题

• RQ1 为何理论上合理的值感知模型学习方法在实践中仍无法超越 MLE，尤其是在深度学习设置中？
• RQ2 当函数逼近和优化轨迹在深度网络中引入不稳定性时，如何稳定值感知模型学习？
• RQ3 在模型容量较低或状态空间维度较高的情况下，引入值函数梯度在多大程度上能提升模型泛化能力和策略性能？
• RQ4 在存在干扰或无关状态维度的环境中，值梯度加权损失是否能优于基于 MLE 的模型学习？
• RQ5 在模型容量有限或训练数据稀疏的设置下，VaGraM 如何提升鲁棒性？

主要发现

• 当使用大型神经网络模型时，VaGraM 在 Mujoco 基准测试套件上的性能与最大似然估计相当。
• 在模型容量较小的设置下，VaGraM 显著优于基于 MLE 的模型，展现出更高的样本效率和鲁棒性。
• 该方法减轻了无关或干扰性状态维度导致的性能退化，在存在此类噪声时仍能保持较高的策略回报。
• VaGraM 通过解决先前值感知方法普遍存在的优化轨迹不稳定性问题，稳定了训练过程。
• 值梯度加权机制有效优先学习对值函数具有高影响的状态维度，从而实现更好的策略泛化。
• 实证结果表明，VaGraM 同时提升了对策略优化具有重要意义区域的状态预测准确率和值预测准确率。