[论文解读] Offline Reinforcement Learning via High-Fidelity Generative Behavior Modeling

Huayu Chen, Cheng Lu+3 more|arXiv (Cornell University)|Sep 29, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出SfBC，一种新颖的离线强化学习方法，将策略学习解耦为高保真度的生成式行为模型（基于扩散模型）和一个动作评估模型。通过基于学习到的重要权重，从行为模型生成的动作候选中选择动作，SfBC避免了分布外动作的选取，并在复杂、异质性环境（如AntMaze）中实现了最先进性能。

ABSTRACT

In offline reinforcement learning, weighted regression is a common method to ensure the learned policy stays close to the behavior policy and to prevent selecting out-of-sample actions. In this work, we show that due to the limited distributional expressivity of policy models, previous methods might still select unseen actions during training, which deviates from their initial motivation. To address this problem, we adopt a generative approach by decoupling the learned policy into two parts: an expressive generative behavior model and an action evaluation model. The key insight is that such decoupling avoids learning an explicitly parameterized policy model with a closed-form expression. Directly learning the behavior policy allows us to leverage existing advances in generative modeling, such as diffusion-based methods, to model diverse behaviors. As for action evaluation, we combine our method with an in-sample planning technique to further avoid selecting out-of-sample actions and increase computational efficiency. Experimental results on D4RL datasets show that our proposed method achieves competitive or superior performance compared with state-of-the-art offline RL methods, especially in complex tasks such as AntMaze. We also empirically demonstrate that our method can successfully learn from a heterogeneous dataset containing multiple distinctive but similarly successful strategies, whereas previous unimodal policies fail.

研究动机与目标

• 解决离线强化学习中单峰策略模型分布表达能力有限的问题，该问题即使在加权回归下仍会导致分布外动作的选择。
• 克服在静态数据集中缺乏显式策略参数化时，对多样化、多峰行为进行建模的挑战。
• 利用表达能力强的生成模型（如扩散模型）实现高保真度行为建模，更好地捕捉真实世界数据集中复杂且异质的行为。
• 通过将行为模型与隐式样本内规划技术结合用于Q-learning，减少外推误差并提升样本效率。
• 证明从包含多种不同成功策略的异质性数据集中学习是可能的，而单峰策略方法则无法实现。

提出的方法

• 将策略解耦为基于扩散模型的生成式行为模型和独立的动作评估模型，避免直接参数化策略。
• 使用重要性采样从行为模型生成的动作候选中选择动作，其中重要性权重由动作评估模型计算得出。
• 利用扩散概率模型实现高保真度行为建模，实现对连续动作空间中多峰和多样化行为的准确表示。
• 为Q-learning引入一种隐式样本内规划算子，仅在数据集轨迹上执行自举，从而减少外推误差。
• 通过使用数据集回报作为监督信号，采用加权回归训练动作评估模型，其中重要性权重源自行为模型生成的动作候选。
• 通过将规划限制在样本内轨迹上，避免依赖离策略自举，从而确保计算效率与收敛性。

实验结果

研究问题

• RQ1 高保真度的生成式行为模型是否能提升策略表达能力并减少离线强化学习中的分布外动作选择？
• RQ2 将策略学习解耦为行为建模与动作评估，是否能在包含多种不同策略的异质性数据集中实现更好的泛化能力？
• RQ3 隐式样本内规划在复杂离线强化学习环境中的性能与外推误差有何影响？
• RQ4 基于扩散模型的生成模型是否在建模复杂、多峰行为分布方面优于传统生成模型（如VAE、高斯混合模型）？
• RQ5 在何种场景下，所提方法显著优于现有的基于加权回归的离线强化学习算法？

主要发现

• SfBC在D4RL基准上实现了最先进性能，尤其在AntMaze-Medium和AntMaze-Large等挑战性环境中，优于所有基线方法。
• 在双向小车（Bidirectional-Car）环境中，SfBC是唯一能在时间限制内持续抵达任一端点的方法，而单峰方法因无法选择极端动作而失败。
• 在异质性数据集（如Medium-Expert）中，基于扩散模型的行为模型显著优于VAE和基于高斯的模型，展现出更优的分布表达能力。
• 隐式样本内规划在复杂、稀疏奖励环境（如AntMaze）中提升了性能，最优性能出现在K=3至5次值迭代步数之间。
• SfBC成功从包含多种不同但同样成功的策略（如同时抵达轨道两端）的数据集中学习，而单峰策略无法捕捉此类多样性。
• 通过将动作选择限制在样本内候选动作中，即使行为策略高度多峰，该方法仍能有效减少外推误差。