[论文解读] Scalable Planning and Learning for Multiagent POMDPs: Extended Version

Christopher Amato, Frans A. Oliehoek|arXiv (Cornell University)|Apr 4, 2014

Reinforcement Learning in Robotics参考文献 50被引用 3

一句话总结

本文提出FV-POMCP，一种新颖的多智能体POMDP在线规划算法，通过因子化价值函数和因子化统计量，利用交互的局部性，实现对大规模动作空间和观测空间的可扩展性。通过将价值函数分解为重叠的因子，并结合基于UCT的树搜索与基于样本的回溯模拟，FV-POMCP在最多10个智能体的问题中实现了高质量解，显著优于标准POMCP，在规划和贝叶斯强化学习设置中均表现更优。

ABSTRACT

Online, sample-based planning algorithms for POMDPs have shown great promise in scaling to problems with large state spaces, but they become intractable for large action and observation spaces. This is particularly problematic in multiagent POMDPs where the action and observation space grows exponentially with the number of agents. To combat this intractability, we propose a novel scalable approach based on sample-based planning and factored value functions that exploits structure present in many multiagent settings. This approach applies not only in the planning case, but also in the Bayesian reinforcement learning setting. Experimental results show that we are able to provide high quality solutions to large multiagent planning and learning problems.

研究动机与目标

• 解决现有POMDP与MPOMDP规划方法在多智能体系统中因动作空间和观测空间呈指数级增长而导致的可扩展性受限问题。
• 开发一种在线、基于样本的规划算法，高效处理大规模多智能体POMDP，而无需完全因子化的模型。
• 将基于样本的规划方法的适用性扩展至多智能体设置中的贝叶斯强化学习，特别是适用于无限状态空间的贝叶斯自适应POMDP。
• 通过利用智能体之间的结构依赖关系，实现在集中式多智能体系统中高效联合动作选择与信念更新。
• 证明因子化价值函数近似可有效集成至POMDP的蒙特卡洛树搜索中，同时保持可扩展性与解的质量。

提出的方法

• FV-POMCP通过引入基于局部智能体交互的因子化统计量扩展POMCP，表示价值函数的组成部分，从而在规划过程中减少需考虑的联合动作数量。
• 该算法采用因子化树结构，其中节点表示部分动作-观测历史，实现对无关联合动作分支的高效遍历与剪枝。
• 采用UCT（树的置信上界）方法，优先探索因子化树中具有潜力的分支，实现信念空间中探索与利用的平衡。
• 通过将Q值函数分解为重叠的局部组件，实现价值函数近似，从而在无需完全因子化MDP模型的前提下实现可扩展计算。
• 使用根采样生成初始状态样本，随后通过前瞻树模拟轨迹，并通过回溯模拟估算回报。
• 该方法通过将模型不确定性纳入信念状态，支持规划与贝叶斯强化学习，实现在贝叶斯自适应POMDP中的高效学习。

实验结果

研究问题

• RQ1 因子化价值函数近似能否有效集成至多智能体POMDP的在线蒙特卡洛树搜索中，以提升可扩展性？
• RQ2 在智能体仅与部分其他智能体交互的交互局部性假设下，对大规模MPOMDP中基于样本的规划性能与效率有何影响？
• RQ3 FV-POMCP在超过4–5个智能体的问题中能扩展到何种程度，特别是在联合动作与观测空间呈指数级增长的情况下？
• RQ4 在具有大规模动作与观测空间的多智能体系统中，FV-POMCP能否在规划与贝叶斯强化学习任务中均优于标准POMCP？
• RQ5 使用因子化统计量与因子化树结构是否能在显著降低计算复杂度的同时保持解的质量？

主要发现

• FV-POMCP成功扩展至最多10个智能体的多智能体POMDP，其解的质量与计算效率均显著优于标准POMCP。
• 该方法在MPOMDP的贝叶斯强化学习设置中实现了高质量解，包括因模型不确定性导致的无限状态空间问题。
• FV-POMCP在规划与学习任务中均优于非因子化POMCP，证实了对交互局部性的利用可带来可测量的性能提升。
• 使用因子化统计量与因子化树结构减少了需考虑的联合动作与历史数量，从而在不牺牲策略质量的前提下实现对更大规模问题的可扩展性。
• 实证结果表明，即使价值函数仅为近似因子化，该算法仍能保持强大性能，使其适用于广泛的实际多智能体系统。
• 该方法实现了在传统方法因状态空间、动作空间与观测空间呈指数级增长而失效的复杂多智能体环境中，高效在线规划与学习。