[论文解读] State Alignment-based Imitation Learning

Fangchen Liu, Zhan Ling+2 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 40被引用 12

一句话总结

该论文提出了一种基于状态对齐的模仿学习方法，在专家与模仿者动力学不匹配时提升了策略模仿性能。通过在局部和全局视角下利用正则化强化学习目标对齐状态序列，该方法在标准和具有挑战性的动力学不匹配设置下均表现出优越性能。

ABSTRACT

Consider an imitation learning problem that the imitator and the expert have different dynamics models. Most of existing imitation learning methods fail because they focus on the imitation of actions. We propose a novel state alignment-based imitation learning method to train the imitator by following the state sequences in the expert demonstrations as much as possible. The alignment of states comes from both local and global perspectives. We combine them into a reinforcement learning framework by a regularized policy update objective. We show the superiority of our method on standard imitation learning settings as well as the challenging settings in which the expert and the imitator have different dynamics models.

研究动机与目标

• 解决当模仿者与专家具有不同动力学模型时的模仿学习挑战，这一局限性削弱了大多数现有基于动作的方法。
• 将关注点从动作模仿转向状态序列对齐，以提升在动力学不匹配下的策略泛化能力。
• 构建一个统一的强化学习框架，整合局部与全局状态对齐，以指导策略训练。
• 在标准模仿学习基准和具有挑战性的动力学不匹配场景中均展示出稳健性能。

提出的方法

• 引入一种状态对齐机制，同时考虑专家与模仿者轨迹之间在局部（每一步）和全局（序列级）的状态对应关系。
• 制定一种正则化策略更新目标，鼓励模仿者遵循专家的状态序列，而不仅限于动作。
• 通过一种惩罚状态轨迹偏差的损失函数，将状态对齐整合到强化学习框架中。
• 结合行为克隆与基于状态对齐质量的奖励塑造方法，优化策略。
• 使用动态规划或序列匹配技术，计算专家与模仿者轨迹之间的最优状态对齐。
• 通过策略目标中的正则化项，平衡模仿保真度与策略探索之间的权衡。

实验结果

研究问题

• RQ1 当专家与模仿者动力学不同时，状态序列对齐是否能提升模仿学习性能？
• RQ2 结合局部与全局状态对齐如何增强模仿学习中的策略泛化能力？
• RQ3 基于状态对齐的正则化策略更新是否在动力学不匹配环境中优于基于动作的模仿？
• RQ4 该方法在标准与具有挑战性的模仿学习基准中的泛化能力如何？

主要发现

• 所提方法在标准基准环境中的表现优于基线模仿学习方法。
• 当模仿者与专家具有显著不同的动力学模型时，该方法在性能上表现出显著提升。
• 通过局部与全局视角实现的状态对齐，相比仅基于动作的模仿，能带来更稳定和准确的策略学习。
• 正则化策略更新目标有效平衡了模仿准确度与策略探索，减少了状态轨迹的偏差。