[论文解读] Policy Improvement via Imitation of Multiple Oracles

Ching-An Cheng, Andrey Kolobov+1 more|arXiv (Cornell University)|Jul 1, 2020

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出 MAMBA，一种新型模仿学习算法，通过从多个次优的专家策略中学习来改进策略。通过使用状态层面的专家值最大值作为鲁棒基准，并采用基于广义优势估计（GAE）的梯度估计器，MAMBA 在多种场景下超越了现有模仿学习方法，甚至优于表现最好的单一专家策略，尤其在专家策略较弱或相互冲突时表现更优。

ABSTRACT

Despite its promise, reinforcement learning's real-world adoption has been hampered by the need for costly exploration to learn a good policy. Imitation learning (IL) mitigates this shortcoming by using an oracle policy during training as a bootstrap to accelerate the learning process. However, in many practical situations, the learner has access to multiple suboptimal oracles, which may provide conflicting advice in a state. The existing IL literature provides a limited treatment of such scenarios. Whereas in the single-oracle case, the return of the oracle's policy provides an obvious benchmark for the learner to compete against, neither such a benchmark nor principled ways of outperforming it are known for the multi-oracle setting. In this paper, we propose the state-wise maximum of the oracle policies' values as a natural baseline to resolve conflicting advice from multiple oracles. Using a reduction of policy optimization to online learning, we introduce a novel IL algorithm MAMBA, which can provably learn a policy competitive with this benchmark. In particular, MAMBA optimizes policies by using a gradient estimator in the style of generalized advantage estimation (GAE). Our theoretical analysis shows that this design makes MAMBA robust and enables it to outperform the oracle policies by a larger margin than the IL state of the art, even in the single-oracle case. In an evaluation against standard policy gradient with GAE and AggreVaTe(D), we showcase MAMBA's ability to leverage demonstrations both from a single and from multiple weak oracles, and significantly speed up policy optimization.

研究动机与目标

• 解决在存在多个次优专家策略时缺乏系统性策略性能评估基准的问题。
• 提出一种系统化方法，将多个相互冲突的专家策略整合为一个更强、统一的基线策略。
• 设计一种模仿学习算法，能够通过利用多专家演示，理论上证明其性能超越所有单个专家策略。
• 确保对专家质量与排序的鲁棒性，尤其在专家策略较弱或多样化时表现稳定。
• 证明多专家模仿可显著加速策略优化，相比单专家策略或标准强化学习基线方法。

提出的方法

• 提出将各专家策略在每个状态下的值函数取最大值，作为自然且普遍更优的基准，称为最大聚合基线（max-aggregated baseline）。
• 将策略优化转化为在线学习问题，以支持理论保证并提升训练效率。
• 采用受广义优势估计（GAE）启发的梯度估计器，提升样本效率与策略性能。
• 引入超参数 λ 以加权多步时间信用分配，增强对函数逼近误差的鲁棒性。
• 为每个专家策略训练值函数近似器，并通过最大值聚合方式组合，形成更强的基线。
• 利用策略值与最大聚合基线之间的差异作为学习信号，对策略实施在线学习更新。

实验结果

研究问题

• RQ1 当存在多个次优专家策略时，是否存在一种系统性、普遍更优的策略性能评估基准？
• RQ2 能否通过整合多个专家策略的演示，系统性地将策略性能提升至所有单个专家策略之上？
• RQ3 多专家模仿对强化学习中的样本效率与收敛速度有何影响？
• RQ4 λ（时间信用加权）的选择在提升鲁棒性与性能方面起到何种作用？
• RQ5 在专家策略质量较差或顺序随机时，该算法表现如何？是否能在这些设置下超越单专家策略基线？

主要发现

• MAMBA 在所有环境中均持续优于 AggreVaTe(D) 和 PG-GAE，尤其在专家策略较弱或次优时表现更优。
• 当 λ > 0 时，MAMBA 的性能甚至优于使用事后最优专家的 AggreVaTe(D)。
• 使用多个专家策略可显著提升性能，尤其当 λ 较大时，得益于更优的基线值估计。
• 在随机专家策略排序下，算法依然保持鲁棒性，MAMBA 使用多专家策略的表现优于 AggreVaTe(D) 和 PG-GAE。
• 在高维环境（如 DoubleInvertedPendulum）中，λ 加权可降低对函数逼近误差的依赖，提升学习稳定性。
• 当包含过多弱专家策略时，性能会因每个专家的样本复杂度上升而下降，但若专家策略选择合理，多样性带来的收益仍超过该成本。