[论文解读] Strictly Batch Imitation Learning by Energy-based Distribution Matching

Daniel Jarrett, Ioana Bica+1 more|arXiv (Cornell University)|Jun 25, 2020

Robot Manipulation and Learning参考文献 56被引用 9

一句话总结

该论文提出了一种基于能量的分布匹配（EDM）方法，这是一种新型的严格批处理模仿学习方法，通过为状态分布使用能量函数来识别策略参数化，直接最小化演示者占用测度与模仿者之间的差异。EDM 完全离线运行，尊重动作条件和状态边缘分布，在控制和医疗保健基准测试中，一致地优于现有离线模仿学习方法。

ABSTRACT

Consider learning a policy purely on the basis of demonstrated behavior -- that is, with no access to reinforcement signals, no knowledge of transition dynamics, and no further interaction with the environment. This *strictly batch imitation learning* problem arises wherever live experimentation is costly, such as in healthcare. One solution is simply to retrofit existing algorithms for apprenticeship learning to work in the offline setting. But such an approach leans heavily on off-policy evaluation or offline model estimation, and can be indirect and inefficient. We argue that a good solution should be able to explicitly parameterize a policy (i.e. respecting action conditionals), implicitly learn from rollout dynamics (i.e. leveraging state marginals), and -- crucially -- operate in an entirely offline fashion. To address this challenge, we propose a novel technique by *energy-based distribution matching* (EDM): By identifying parameterizations of the (discriminative) model of a policy with the (generative) energy function for state distributions, EDM yields a simple but effective solution that equivalently minimizes a divergence between the occupancy measure for the demonstrator and a model thereof for the imitator. Through experiments with application to control and healthcare settings, we illustrate consistent performance gains over existing algorithms for strictly batch imitation learning.

研究动机与目标

• 为解决仅从离线专家演示中学习策略的挑战，而无需访问环境交互、奖励或动力学信息。
• 开发一种方法，显式建模动作条件，通过状态访问分布隐式捕捉滚动动态。
• 创建一种完全离线的解决方案，避免依赖离策略评估或在线强化学习循环。
• 在数据稀缺或高成本场景（如医疗保健）中提升泛化能力和性能。

提出的方法

• EDM 将模仿学习表述为通过将策略的条件分布作为判别模型、状态边缘分布作为生成能量函数，最小化演示者占用测度与模仿者之间的差异。
• 该方法将策略参数化与状态上的能量函数关联，实现策略和状态分布匹配在单一离线目标下的联合优化。
• 核心目标是最小化专家状态动作占用与模仿者之间的差异（例如 KL 散度或 f-散度），采用基于得分或基于能量的公式。
• EDM 在半监督设置中利用仅状态的数据，当动作标签稀缺但状态可观测时，可提升性能。
• 该方法兼容深度神经网络，支持全连接和卷积架构，适用于多样化环境。
• 它避免了迭代式离策略评估或内部强化学习循环，支持从离线演示直接、端到端训练。

实验结果

研究问题

• RQ1 一种严格批处理的模仿学习方法是否能在无在线交互的情况下，有效建模动作条件和状态访问分布？
• RQ2 基于能量的分布匹配与现有离线模仿学习方法相比，在样本效率和性能方面表现如何？
• RQ3 在数据稀缺场景下，结合离线专家演示时，仅状态数据能在多大程度上提升性能？
• RQ4 在离线模仿学习设置中，EDM 是否优于依赖离策略评估或在线强化学习微调的方法？

主要发现

• 在 Acrobot、CartPole、LunarLander 和 BeamRider 等控制任务中，EDM 在所有基准上均一致地优于现有离线模仿学习算法。
• 在 MIMIC-III 医疗保健基准中，EDM 超过强基线方法（包括 VDICE 和行为克隆），在临床决策制定场景中表现出稳健性。
• EDM-1t+（使用一条专家轨迹并附加仅状态数据）的性能与使用三条专家轨迹训练的 VDICE 相当，凸显了半监督状态分布匹配的优势。
• 在仅状态数据下，EDM 性能提升七倍，表明在数据稀缺场景下具有极强的样本效率。
• EDM 在多种环境（包括连续控制和表格型医疗保健任务）中表现稳定且优越，无需在线交互或奖励建模。