[论文解读] Reinforcement and Imitation Learning via Interactive No-Regret Learning

Stéphane Ross, J. Andrew Bagnell|arXiv (Cornell University)|Jun 23, 2014

Advanced Bandit Algorithms Research参考文献 23被引用 118

一句话总结

本文提出 AggreVaTe，一种无遗憾的在线学习框架，通过将剩余成本信息整合到交互式策略学习中，统一了模仿学习与强化学习。该方法在 DAgger 风格的方法基础上引入了代价敏感学习，通过遗憾最小化实现了更强的理论保证和更优的策略稳定性，适用于模仿学习与近似策略迭代。

ABSTRACT

Recent work has demonstrated that problems-- particularly imitation learning and structured prediction-- where a learner's predictions influence the input-distribution it is tested on can be naturally addressed by an interactive approach and analyzed using no-regret online learning. These approaches to imitation learning, however, neither require nor benefit from information about the cost of actions. We extend existing results in two directions: first, we develop an interactive imitation learning approach that leverages cost information; second, we extend the technique to address reinforcement learning. The results provide theoretical support to the commonly observed successes of online approximate policy iteration. Our approach suggests a broad new family of algorithms and provides a unifying view of existing techniques for imitation and reinforcement learning.

研究动机与目标

• 解决现有模仿学习方法忽略剩余成本信息的局限性，避免在高成本场景（如驶下悬崖）中产生次优策略。
• 为在线近似策略迭代的实证成功提供理论基础，该方法尽管缺乏正式的收敛保证，但通常优于批量方法。
• 在单一无遗憾学习框架下统一现有的模仿学习与强化学习技术，利用代价敏感反馈。
• 提出一种新算法 NRPI（无遗憾策略迭代），用于强化学习，具备强理论稳定性和性能保证。
• 证明即使粗略近似的剩余成本估计，也能显著提升交互学习场景中策略的泛化能力和鲁棒性。

提出的方法

• 提出 AggreVaTe，一种交互式模仿学习算法，收集代价加权的训练样本 $(s, t, a, Q)$，其中 $Q$ 表示在时间 $t$ 状态 $s$ 下采取动作 $a$ 后专家的剩余成本。
• 训练策略 $ ilde{ au}$ 以最小化收集数据集上的期望剩余成本，而非最小化专家动作上的零一分类损失。
• 使用在线无遗憾学习算法（如在线 Frank-Wolfe）迭代优化策略，确保累积遗憾随时间呈次线性增长。
• 通过引入 NRPI（无遗憾策略迭代）将框架扩展至强化学习，该算法使用相同的代价敏感学习机制，确保策略的稳定性和性能保证。
• 利用时间平均状态分布 $d_ au^t$ 和代价函数 $C(s,a) \in [0,1]$ 定义性能指标与遗憾边界。
• 建立理论边界，表明该算法实现的是统计遗憾而非误差减少，相较于传统方法提供了更强的性能保证。

实验结果

研究问题

• RQ1 在交互式模仿学习中引入剩余成本信息，是否能相比仅模仿专家动作的方法，提升策略性能与鲁棒性？
• RQ2 尽管存在理论不稳定性担忧，为何在线近似策略迭代方法在实践中常优于批量方法？
• RQ3 能否构建一个基于无遗憾在线学习的统一框架，涵盖模仿学习与强化学习？
• RQ4 如何利用代价敏感的无遗憾学习，推导出稳定且理论基础坚实的强化学习算法？
• RQ5 与仅使用最新策略相比，使用多个历史策略进行训练在实际中对收敛性和稳定性有何影响？

主要发现

• AggreVaTe 实现了强于误差减少保证的统计遗憾边界，为交互式模仿学习提供了更稳健的理论基础。
• 该方法表明，即使专家动作存在歧义，使用剩余成本估计（如专家轨迹或启发式方法）也能防止学习到危险或高成本的策略。
• NRPI 作为强化学习的扩展，其理论保证与文献中最强结果相当，性能以时间上的遗憾为界。
• 理论分析表明，若探索分布 $ u_{1:T}$ 收敛至最优策略的状态分布，则 AggreVaTe 必然收敛至最优策略 $ ilde{ au}$。
• 实验结果表明，使用多个历史策略（而非仅最新策略）进行训练可减少振荡与发散，提升近似动态规划中的稳定性。
• 该框架将 SEARN 等启发式方法（使用专家轨迹作为剩余成本估计）解释为 AggreVaTe 在在线 Frank-Wolfe 下的特例。