[论文解读] Smooth Imitation Learning for Online Sequence Prediction

Hoang Le, Andrew H. Kang+2 more|arXiv (Cornell University)|Jun 3, 2016

Reinforcement Learning in Robotics参考文献 21被引用 14

一句话总结

该论文提出 SIMILE，一种用于在线序列预测中平滑模仿学习的学习归约框架，通过自适应正则化与确定性策略插值实现更快、更稳定的收敛。其通过自适应学习率与平滑反馈，实现了可证明的更快收敛，优于先前方法，在相机规划任务中实现了显著的性能提升。

ABSTRACT

We study the problem of smooth imitation learning for online sequence prediction, where the goal is to train a policy that can smoothly imitate demonstrated behavior in a dynamic and continuous environment in response to online, sequential context input. Since the mapping from context to behavior is often complex, we take a learning reduction approach to reduce smooth imitation learning to a regression problem using complex function classes that are regularized to ensure smoothness. We present a learning meta-algorithm that achieves fast and stable convergence to a good policy. Our approach enjoys several attractive properties, including being fully deterministic, employing an adaptive learning rate that can provably yield larger policy improvements compared to previous approaches, and the ability to ensure stable convergence. Our empirical results demonstrate significant performance gains over previous approaches.

研究动机与目标

• 解决在具有在线上下文输入的连续动态环境中，从专家演示中学习平滑、确定性策略的挑战。
• 通过形式化一个平滑策略类，避免模仿学习中的分布偏移问题，确保行为的稳定性和泛化能力。
• 开发一种学习归约方法，将监督学习的保证推广至序列化、在线设置，同时保持计算效率。
• 通过引入基于策略性能的自适应学习率，实现比 SEARN 等先前方法更快的收敛速度。
• 通过平滑反馈生成与确定性策略插值确保学习稳定性，避免随机方法的不稳定性。

提出的方法

• 使用再生核希尔伯特空间（RKHS）与平滑核形式化平滑策略类，确保动作输出的有界变体与连续性。
• 引入一种学习元算法，通过迭代生成使用平滑反馈的训练数据：$\hat{a}_t^n = \sigma a_t^n + (1 - \sigma) a_t^*$，其中 $\sigma$ 在迭代过程中逐步减小。
• 应用确定性策略插值：$\pi_{\text{new}} = \beta \pi + (1 - \beta) \hat{\pi}$，其中 $\beta$ 基于相对经验损失自适应选择，以加速收敛。
• 利用平滑策略类的稳定性特性，推导出收敛速度的理论保证，优于保守的固定速率方法。
• 基于监督回归的策略聚合框架，其中目标标签为专家动作的平滑版本，降低噪声并提升泛化能力。
• 通过避免随机滚动，实现完全确定性的训练，相比 SEARN 或 DAgger，降低样本复杂度并提升训练稳定性。

实验结果

研究问题

• RQ1 我们如何形式化一个平滑策略类，以实现在在线序列预测中稳定、连续的动作序列？
• RQ2 在策略插值中使用自适应学习率是否能实现相比固定速率方法（如 SEARN）的可证明更快收敛？
• RQ3 通过参数化目标标签生成的平滑反馈对策略稳定性与收敛速度有何影响？
• RQ4 在泛化能力与样本效率方面，确定性策略插值与随机插值相比有何差异？
• RQ5 所提出方法在真实世界的在线控制任务（如自动相机规划）中，性能提升程度如何？

主要发现

• SIMILE 通过使用自适应学习率 $\hat{\beta} = \frac{\texttt{error}(\pi)}{\texttt{error}(\hat{\pi}) + \texttt{error}(\pi)}$ 实现了显著快于 SEARN 的收敛速度，该学习率基于策略性能动态调整。
• 使用逐渐减小的 $\sigma$（从 1 到 0）的平滑反馈，使早期迭代中学习更加稳定，尤其在初始策略性能较差时，可避免因高精度但非平滑目标导致的不稳定性。
• 确定性策略插值在经验误差与平均滚动性能方面均优于随机插值，如图 7 所示，$\beta = 0.5$ 且进行 50 次随机滚动时结果明确。
• 在相机规划任务上的实证结果表明，SIMILE 仅需少于 10 次迭代即可学习到平滑且准确的轨迹，在视觉与定量指标上均优于非平滑策略与先前方法。
• 该方法展现出更优的样本效率与稳定性，避免了 DAgger 的超线性训练时间与 SEARN 的保守收敛速度。
• 理论分析证实，SIMILE 的自适应速率在即使监督学习器无法达到完美准确率的“对抗性”设置下，也能实现可证明的比固定速率方法更快的收敛速度。