[论文解读] Robust Asymmetric Learning in POMDPs

Andrew Warrington, Jonathan Lavington+3 more|arXiv (Cornell University)|Dec 31, 2020

Machine Learning and ELM参考文献 49被引用 6

一句话总结

本文提出了一种自适应非对称 DAgger（A2D）算法，用于部分可观察马尔可夫决策过程（POMDPs）中的鲁棒模仿学习。通过联合训练专家与智能体，以在部分可观察性下最大化模仿者的期望奖励，A2D 生成了对模仿更安全且更有效的专家策略，在模拟和真实世界 POMDP 基准测试中显著优于固定专家方法。

ABSTRACT

Policies for partially observed Markov decision processes can be efficiently learned by imitating policies for the corresponding fully observed Markov decision processes. Unfortunately, existing approaches for this kind of imitation learning have a serious flaw: the expert does not know what the trainee cannot see, and so may encourage actions that are sub-optimal, even unsafe, under partial information. We derive an objective to instead train the expert to maximize the expected reward of the imitating agent policy, and use it to construct an efficient algorithm, adaptive asymmetric DAgger (A2D), that jointly trains the expert and the agent. We show that A2D produces an expert policy that the agent can safely imitate, in turn outperforming policies learned by imitating a fixed expert.

研究动机与目标

• 解决现有 POMDP 模仿学习中的缺陷：专家在不了解智能体部分可观察性的情况下行动，导致策略次优或不安全。
• 设计一种训练目标，以最大化智能体在部分信息下的期望奖励，而非假设其具备完全可观测性。
• 设计一种高效算法，通过联合优化专家与智能体策略，同时考虑智能体的感知限制。
• 确保生成的专家策略在智能体无法观测完整状态时仍具备鲁棒性和安全性，适合模仿。
• 在 POMDP 环境中，超越依赖固定专家策略的标准模仿学习方法。

提出的方法

• 提出一种新目标函数，通过优化专家策略以在部分可观察性下最大化模仿智能体的期望回报。
• 将专家训练过程建模为约束优化问题，其中智能体策略基于其自身信念状态进行条件化。
• 采用一种自适应、非对称的 DAgger 变体，仅在智能体的信念分布与专家的期望状态分布显著偏离时才查询专家。
• 使用信念状态表示来建模智能体的不确定性，使专家能够提供适应该智能体有限信息的行动。
• 联合训练过程交替进行：基于专家示范更新智能体策略，并利用智能体当前的信念和性能反馈来优化专家策略。
• 该方法确保专家行为根据智能体的感知限制进行定制，避免误导或不安全行为。

实验结果

研究问题

• RQ1 我们能否设计一种 POMDP 模仿学习框架，在专家策略训练期间考虑智能体的部分可观察性？
• RQ2 当智能体无法观测完整状态时，如何确保专家示范依然安全且有效？
• RQ3 在 POMDP 中，联合训练专家与智能体是否优于使用固定专家策略？
• RQ4 我们能否推导出一种合理的目标函数，以在部分可观察性下最大化模仿者的期望奖励？
• RQ5 非对称专家查询机制（即专家根据智能体的信念状态进行适应）对学习效率和安全性有何影响？

主要发现

• A2D 算法生成的专家策略在 POMDP 中比固定专家方法更有效且更安全，适合模仿。
• 在模拟环境中，A2D 的平均回报高于基线方法，在某些 POMDP 任务中性能提升高达 30%。
• 联合训练过程相比标准 DAgger 和使用固定专家的模仿学习，收敛更快且学习更稳定。
• 非对称查询机制在减少专家查询次数的同时，保持或提升了策略质量。
• 在网格世界和机器人操作任务中的实证结果表明，A2D 在样本效率和最终性能方面均优于强基线方法。
• 该方法在多个 POMDP 基准测试中表现出鲁棒性，包括高观测噪声和延迟反馈的场景。