[论文解读] Triple-GAIL: A Multi-Modal Imitation Learning Framework with Generative Adversarial Nets

Cong Fei, Bin Wang+6 more|arXiv (Cornell University)|May 19, 2020

Human Pose and Action Recognition参考文献 16被引用 5

一句话总结

Triple-GAIL 提出了一种多模态模仿学习框架，通过引入辅助技能选择器的生成对抗网络，联合学习技能选择与行为克隆。通过引入生成器、判别器和选择器之间的三重对抗博弈，该方法在建模多模态行为方面表现优异，在驾驶和即时战略游戏基准测试中分别取得了 73.9% 和 76.3% 的胜率，优于当前最先进方法。

ABSTRACT

Generative adversarial imitation learning (GAIL) has shown promising results by taking advantage of generative adversarial nets, especially in the field of robot learning. However, the requirement of isolated single modal demonstrations limits the scalability of the approach to real world scenarios such as autonomous vehicles' demand for a proper understanding of human drivers' behavior. In this paper, we propose a novel multi-modal GAIL framework, named Triple-GAIL, that is able to learn skill selection and imitation jointly from both expert demonstrations and continuously generated experiences with data augmentation purpose by introducing an auxiliary skill selector. We provide theoretical guarantees on the convergence to optima for both of the generator and the selector respectively. Experiments on real driver trajectories and real-time strategy game datasets demonstrate that Triple-GAIL can better fit multi-modal behaviors close to the demonstrators and outperforms state-of-the-art methods.

研究动机与目标

• 解决单模态模仿学习在需要自适应技能选择的真实场景中的局限性。
• 通过显式建模专家演示中的多种行为模式，克服 GAIL 中的模式崩溃问题。
• 在无需预标注演示数据的前提下，实现技能选择与策略生成的联合优化。
• 为多模态设置下的生成器与选择器提供理论收敛保证。
• 通过端到端训练与辅助监督，提升标签条件模仿学习任务的性能。

提出的方法

• 提出一种包含三个组件的三重对抗框架：生成器（策略）、判别器（代理奖励）和辅助技能选择器。
• 生成器学习在技能标签条件下生成状态-动作对，而选择器则为给定状态预测正确的技能标签。
• 判别器区分专家轨迹（状态-动作-标签三元组）与生成轨迹，为策略优化提供奖励信号。
• 使用专家演示的交叉熵损失对选择器进行监督，以在联合训练中提升其准确率。
• 应用正则化目标函数，包含策略探索的熵正则化和解耦技能表征的互信息最大化。
• 通过对抗优化端到端训练生成器与选择器，且为两个组件提供理论收敛保证。

实验结果

研究问题

• RQ1 多模态模仿学习框架能否在避免模式崩溃的前提下，联合优化技能选择与行为克隆？

主要发现

• 在 Mini-RTS 游戏中，Triple-GAIL 对抗 SIMPLE 代理的胜率为 73.9%，对抗 HIT-N-RUN 代理的胜率为 68.3%，优于所有基线方法。
• Triple-GAIL 中的选择器在分类驾驶技能时达到 90% 的准确率，显著优于 CGAIL，证明了联合优化的优势。
• 移除交叉熵损失项 $ R_E $ 会降低选择器的准确率，证实了来自专家演示的监督信号的重要性。
• 使用真实标签的 Triple-GAIL（Triple-GAIL + label）在两项任务中分别取得 78.9% 和 76.3% 的胜率，表明联合优化可显著提升模仿性能，超越固定模型。
• 可视化结果表明，Triple-GAIL 代理能根据对手行为自适应调整战术，例如建造远程单位以应对骚扰或发起协同攻击。
• 理论分析表明，在兼容效用函数下，生成器与选择器均能收敛至各自最优解，确保训练过程稳定。