[论文解读] What Matters for Adversarial Imitation Learning?

Manu Orsini, Anton Raichuk+8 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics参考文献 49被引用 18

一句话总结

本文对超过50万个人工智能对抗式模仿学习（AIL）智能体在10个连续控制任务中的大规模实证研究，评估了算法选择与示范类型的影响。研究发现，人类示范与合成示范存在根本性差异，且常见做法（如使用特定判别器正则化）可能不具备泛化性，挑战了先前AIL研究中的假设。

ABSTRACT

Adversarial imitation learning has become a popular framework for imitation in continuous control. Over the years, several variations of its components were proposed to enhance the performance of the learned policies as well as the sample complexity of the algorithm. In practice, these choices are rarely tested all together in rigorous empirical studies. It is therefore difficult to discuss and understand what choices, among the high-level algorithmic options as well as low-level implementation details, matter. To tackle this issue, we implement more than 50 of these choices in a generic adversarial imitation learning framework and investigate their impacts in a large-scale study (>500k trained agents) with both synthetic and human-generated demonstrations. While many of our findings confirm common practices, some of them are surprising or even contradict prior work. In particular, our results suggest that artificial demonstrations are not a good proxy for human data and that the very common practice of evaluating imitation algorithms only with synthetic demonstrations may lead to algorithms which perform poorly in the more realistic scenarios with human demonstrations.

研究动机与目标

• 在受控的大规模环境中，系统性地评估对抗式模仿学习（AIL）中超过50个超参数与网络架构选择的影响。
• 调查在AIL评估中，合成示范是否可作为人类示范的有效替代品。
• 识别哪些算法组件（例如强化学习算法、判别器正则化器、训练比例）对策略性能和样本效率具有最显著影响。
• 为在真实环境中设计与评估新型AIL算法，提供可操作的、基于数据的建议。
• 揭示先前研究仅在合成示范上进行评估的局限性，此类评估可能导致算法设计与性能评估产生误导。

提出的方法

• 实现了一个高度可配置的通用AIL框架，支持4种强化学习算法、7种判别器正则化器以及超过50个超参数。
• 在10个连续控制环境（OpenAI Gym与Adroit）中，开展了大规模实验研究，训练了超过50万个人工智能智能体。
• 使用合成示范（由训练好的强化学习智能体生成）和人类生成的示范，评估不同数据源之间的泛化能力。
• 采用标准化性能指标：最终回合回报与训练期间的平均回报，并对不同配置进行分位数分析。
• 对关键超参数（如批量大小、经验回放比例、判别器与强化学习更新比例、合并批次数量）进行消融研究。
• 通过条件性能分位数与最优配置的分布分析，识别出具有影响力的因子。

实验结果

研究问题

• RQ1 在AIL中，哪些超参数选择对最终策略性能与样本效率的影响最为显著？
• RQ2 在不同环境与示范类型下，不同判别器正则化器（如梯度惩罚、权重衰减、Dropout）的性能表现如何比较？
• RQ3 合成示范在多大程度上能准确反映人类生成示范的行为特征与挑战？
• RQ4 在合成示范与人类示范之间，算法选择的相对性能（如在线策略与离线策略、奖励塑形）如何变化？
• RQ5 为在多样化任务中最大化模仿性能，训练超参数（如批量大小、经验回放比例、更新比例）的最佳配置是什么？

主要发现

• 标准判别器正则化器（如梯度惩罚）在性能上并不总是优于更简单的监督学习技术（如权重衰减或Dropout），尤其是在较简单的环境中。
• 在较简单的环境中，显式判别器正则化通常并非必要——不使用任何正则化的策略也能实现良好性能。
• 在所有AIL配置中，人类示范导致的性能显著低于合成示范，表明存在根本性的分布偏移。
• 算法选择的相对性能（如强化学习算法、正则化器的选择）在很大程度上依赖于示范来源——在合成数据上的结果无法推广到人类数据。
• 在合成示范上表现最佳的配置在人类示范上往往表现不佳，表明仅在合成数据上进行评估会导致对算法鲁棒性的错误结论。
• 批量大小、经验回放比例与判别器与强化学习更新比例等超参数对性能具有强烈且非单调的影响，最优值随环境与示范类型而变化。