[论文解读] Self-Paced Contextual Reinforcement Learning

Pascal Klink, Hany Abdulsamad+2 more|arXiv (Cornell University)|Oct 7, 2019

Reinforcement Learning in Robotics参考文献 34被引用 8

一句话总结

该论文提出自 paced 上下文强化学习（SPRL），一种课程学习方法，使智能体能够通过平衡局部奖励增益与向目标上下文分布的进展，自主调整训练期间的任务分布。通过将相对熵策略搜索框架与自 paced 课程相结合，SPRL 显著提升了样本效率，并在具有稀疏奖励的复杂机器人任务中实现了成功学习，包括使用 Barrett WAM 机械臂完成的 Ball-in-a-Cup 任务。

ABSTRACT

Generalization and adaptation of learned skills to novel situations is a core requirement for intelligent autonomous robots. Although contextual reinforcement learning provides a principled framework for learning and generalization of behaviors across related tasks, it generally relies on uninformed sampling of environments from an unknown, uncontrolled context distribution, thus missing the benefits of structured, sequential learning. We introduce a novel relative entropy reinforcement learning algorithm that gives the agent the freedom to control the intermediate task distribution, allowing for its gradual progression towards the target context distribution. Empirical evaluation shows that the proposed curriculum learning scheme drastically improves sample efficiency and enables learning in scenarios with both broad and sharp target context distributions in which classical approaches perform sub-optimally.

研究动机与目标

• 该论文旨在解决经典上下文强化学习的局限性，即依赖于从未知上下文分布中进行无信息采样，导致样本效率低下，并在复杂或陡峭的目标分布下失败。
• 旨在使智能体能够通过控制中间任务分布，主动塑造其学习过程，模拟人类渐进式学习的方式。
• 目标是开发一种实用的自 paced 课程机制，以提升多任务强化学习中的泛化能力和收敛速度。
• 该方法旨在平衡局部性能提升与向目标上下文分布的长期进展，避免陷入次优局部极小值。

提出的方法

• 该方法将课程学习建模为一个单步最优选择问题，采用上下文相对熵策略搜索（C-REPS），以优化局部奖励最大化与向目标上下文分布预期进展之间的权衡。
• 引入拉格朗日对偶形式，通过当前策略与先前策略分布之间的 KL 散度施加约束，确保策略更新的稳定性。
• 该算法随时间动态调整上下文的采样分布 ˜µ(c)，从初始的简单、高概率区域逐步转向目标分布 µ(c)。
• 该方法使用启发式参数 α 来平衡探索（通过 KL 约束）与利用（通过优势函数 A(θ,c)），其中 α 经调优以优先兼顾即时性能与向目标的长期轨迹。
• 策略更新规则源自最优性条件 p∗(θ,c) ∝ q(θ,c) exp(A(θ,c)/η)，该条件基于优势对策略分布执行软最大重加权。
• 该框架可与其它上下文强化学习算法兼容，并可扩展至基于步长的策略搜索，以提升数据效率。

实验结果

研究问题

• RQ1 自 paced 课程机制是否能提升在稀疏奖励机器人任务中上下文强化学习的样本效率？
• RQ2 允许智能体控制中间任务分布是否能带来比随机或固定上下文采样更快的收敛速度和更好的泛化能力？
• RQ3 在目标上下文分布范围广或呈尖峰分布的任务中，该方法表现如何，而经典方法在此类任务中会失败？
• RQ4 该自 paced 课程能否通过局部优化过程有效学习，而无需全局掌握最优课程的先验知识？
• RQ5 权衡参数 α 对复杂操作任务中学习速度和最终性能的影响如何？

主要发现

• 与 C-REPS、CMA-ES、GoalGAN 和 SAGG-RIAC 相比，SPRL 在稀疏的 Ball-in-a-Cup 任务中实现了显著更快的收敛速度和更高的成功率，200 次迭代内成功率即达到 1.0。
• 该算法在目标分布陡峭的场景中成功学习，而基线方法在此类场景中失败，证明了其对复杂、非均匀分布的鲁棒性。
• 自 paced 课程动态地将采样分布 ˜µ(c) 从初始的简单区域逐步转移至目标分布 µ(c)，如图 5 所示，证实了预期的学习进展路径。
• 实验结果表明，SPRL 在具有挑战性的操作任务中将样本复杂度降低了数量级，尤其在稀疏奖励设置下表现突出。
• 在 10 次最佳运行中，SPRL 在 50% 分位数成功率上优于所有基线方法，阴影区域（10%-90% 分位数）表明其性能一致稳定。
• SPRL 的成功归因于其通过 KL 约束优化避免局部极小值并维持稳定策略更新的能力，即使在高维、稀疏奖励环境中也表现稳健。