[论文解读] Rollout Sampling Policy Iteration for Decentralized POMDPs

Feng Wu, Shlomo Zilberstein+1 more|arXiv (Cornell University)|Mar 15, 2012

Auction Theory and Applications参考文献 21被引用 21

一句话总结

本文提出 DecRSPI，一种用于去中心化部分可观察马尔可夫决策过程（DEC-POMDPs）的滚动采样策略迭代算法。它使用蒙特卡洛采样生成可达的信念状态，并通过滚动估计计算联合策略，实现与智能体数量呈线性时间复杂度、内存使用受限，并为大规模、无模型的多智能体问题提供高质量解。

ABSTRACT

We present decentralized rollout sampling policy iteration (DecRSPI) - a new algorithm for multi-agent decision problems formalized as DEC-POMDPs. DecRSPI is designed to improve scalability and tackle problems that lack an explicit model. The algorithm uses Monte- Carlo methods to generate a sample of reachable belief states. Then it computes a joint policy for each belief state based on the rollout estimations. A new policy representation allows us to represent solutions compactly. The key benefits of the algorithm are its linear time complexity over the number of agents, its bounded memory usage and good solution quality. It can solve larger problems that are intractable for existing planning algorithms. Experimental results confirm the effectiveness and scalability of the approach.

研究动机与目标

• 解决现有规划算法在去中心化 POMDP（DEC-POMDP）中的可扩展性限制。
• 解决无需环境显式模型的多智能体决策问题。
• 在传统方法因计算不可行而失效的大规模 DEC-POMDP 中实现高效策略学习。
• 开发一种紧凑的策略表示方法，以支持可扩展计算与内存效率。
• 提升对先前方法难以处理的问题的解质量与可扩展性。

提出的方法

• 使用蒙特卡洛采样从初始信念分布生成一组可达的信念状态。
• 对每个采样的信念状态应用滚动估计以评估和改进联合策略。
• 采用一种新型策略表示方法，实现跨智能体的联合策略的紧凑编码。
• 通过采样的信念状态实施策略迭代，以迭代方式优化联合策略。
• 利用滚动采样近似值函数，而无需完整模型知识。
• 通过聚焦于采样的信念状态而非完整信念空间枚举，保持受限的内存使用。

实验结果

研究问题

• RQ1 滚动采样策略迭代能否有效适配无显式模型的去中心化 POMDP？
• RQ2 所提方法是否与智能体数量呈线性时间复杂度？
• RQ3 DecRSPI 能否解决现有算法难以处理的大规模 DEC-POMDP 问题？
• RQ4 紧凑的策略表示对内存使用和解质量有何影响？
• RQ5 在无模型多智能体规划中，计算效率与解质量之间存在何种权衡？

主要发现

• DecRSPI 与智能体数量呈线性时间复杂度，显著提升可扩展性。
• 该算法使用受限内存，适用于内存受限的大规模问题。
• 实验结果表明，DecRSPI 在基准 DEC-POMDP 问题上优于现有算法，包括此前难以处理的问题。
• 即使缺乏完整模型，该方法仍能生成高质量解，证明其在无模型环境中的有效性。
• 紧凑的策略表示实现了高效存储与计算，且不牺牲解质量。
• 滚动采样提供了值函数的稳健近似，促进策略收敛与性能提升。