[论文解读] TaSIL: Taylor Series Imitation Learning

Daniel Pfrommer, Thomas T. C. K. Zhang+2 more|arXiv (Cornell University)|May 30, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

TaSIL 提出了一种新颖的模仿学习方法，通过惩罚学习策略与专家策略之间高阶泰勒级数项的差异，增强了行为克隆。通过利用增量输入-状态稳定性（incremental input-to-state stability），TaSIL 确保泰勒近似中的微小误差仅导致轨迹的微小偏差，实现了缩放为 Õ(1/n) 的泛化界，并在 MuJoCo 环境中显著优于基线方法。

ABSTRACT

We propose Taylor Series Imitation Learning (TaSIL), a simple augmentation to standard behavior cloning losses in the context of continuous control. TaSIL penalizes deviations in the higher-order Taylor series terms between the learned and expert policies. We show that experts satisfying a notion of $ extit{incremental input-to-state stability}$ are easy to learn, in the sense that a small TaSIL-augmented imitation loss over expert trajectories guarantees a small imitation loss over trajectories generated by the learned policy. We provide sample-complexity bounds for TaSIL that scale as $ ilde{\mathcal{O}}(1/n)$ in the realizable setting, for $n$ the number of expert demonstrations. Finally, we demonstrate experimentally the relationship between the robustness of the expert policy and the order of Taylor expansion required in TaSIL, and compare standard Behavior Cloning, DART, and DAgger with TaSIL-loss-augmented variants. In all cases, we show significant improvement over baselines across a variety of MuJoCo tasks.

研究动机与目标

• 为了解决离线模仿学习中的分布偏移问题，通过直接在策略中编码专家的鲁棒性，利用泰勒级数项进行建模。
• 提供理论保证：在专家轨迹上，TaSIL 增强的损失函数若较小，则意味着在学习策略生成的轨迹上，模仿误差也较小。
• 开发一种适用于无法访问高阶导数的专家的有限差分近似方法。
• 在可实现设置下，建立泛化界，其缩放为 Õ(1/n)，其中 n 为专家演示的数量。
• 通过实验验证理论：更鲁棒的专家在 TaSIL 中需要更低阶的泰勒展开，并展示其在标准 BC、DART 和 DAgger 方法上的性能优势。

提出的方法

• TaSIL 通过在标准行为克隆损失中增加专家策略与学习策略之间 p 阶泰勒级数近似差异的惩罚项，来增强损失函数。
• 该方法依赖于专家策略满足增量输入-状态稳定（δ-ISS）的假设，以确保对扰动具有鲁棒恢复能力。
• 当无法直接访问雅可比矩阵或海塞矩阵时，使用有限差分近似来估计高阶导数。
• 损失函数包含对零阶、一阶和二阶泰勒项的加权项，其中超参数 λ₀、λ₁、λ₂ 经调优以提升性能。
• 理论分析将 TaSIL 的泛化性简化为在专家数据上的监督学习问题，从而实现有限样本下的泛化边界。
• 实验在 MuJoCo 环境中进行，训练 4500 次迭代，使用 Adam 优化器和余弦退火学习率调度，比较 TaSIL 增强的 BC、DART 和 DAgger 方法。

实验结果

研究问题

• RQ1 在什么条件下，专家轨迹上较小的 TaSIL 增强模仿损失能保证学习策略轨迹上较小的模仿误差？
• RQ2 TaSIL 中所需的泰勒展开阶数与专家策略的鲁棒性之间有何关系？
• RQ3 在离线模仿学习设置下，TaSIL 是否能实现优于标准行为克隆、DART 和 DAgger 的泛化性能？
• RQ4 在可实现设置下，TaSIL 的样本复杂度是多少？其是否缩放为 Õ(1/n)？
• RQ5 在实际中，有限差分近似在估计高阶导数方面的有效性如何？

主要发现

• 在可实现设置下，TaSIL 实现了缩放为 Õ(1/n) 的泛化界，其中 n 为专家演示的数量。
• TaSIL 中所需的泰勒展开阶数与专家鲁棒性相关：更鲁棒的专家需要更低阶的展开。
• 在 MuJoCo 环境中，TaSIL 增强的行为克隆在硬任务上显著优于标准 BC、DART 和 DAgger，尤其在标准 BC 失败的任务中表现更优。
• 对于高维观测空间（如 Humanoid、Ant），使用多个有限差分向量能显著提升 TaSIL 的性能。
• 有限差分近似使得即使无法直接访问高阶导数，也能有效进行 TaSIL 训练。
• 实验结果证实，TaSIL 通过显式匹配高阶策略动态，显著减少了轨迹与专家策略的偏差。