[论文解读] Optimizing Memory-Bounded Controllers for Decentralized POMDPs

Christopher Amato, Daniel S. Bernstein+1 more|arXiv (Cornell University)|Jun 20, 2012

Distributed Control Multi-Agent Systems参考文献 10被引用 48

一句话总结

本文提出了一种非线性优化框架，用于在无限时域去中心化部分可观察马尔可夫决策过程（POMDP）中学习记忆受限的随机有限状态控制器。通过将策略优化表述为非线性规划问题，并引入相关性装置，该方法在仅适度增加内存和计算开销的情况下，获得了优于现有最先进方法的高质量解。

ABSTRACT

We present a memory-bounded optimization approach for solving infinite-horizon decentralized POMDPs. Policies for each agent are represented by stochastic finite state controllers. We formulate the problem of optimizing these policies as a nonlinear program, leveraging powerful existing nonlinear optimization techniques for solving the problem. While existing solvers only guarantee locally optimal solutions, we show that our formulation produces higher quality controllers than the state-of-the-art approach. We also incorporate a shared source of randomness in the form of a correlation device to further increase solution quality with only a limited increase in space and time. Our experimental results show that nonlinear optimization can be used to provide high quality, concise solutions to decentralized decision problems under uncertainty.

研究动机与目标

• 解决在有限内存资源下求解无限时域去中心化POMDP的挑战。
• 为在去中心化、部分可观察环境中学习高质量策略，开发一种可扩展的方法。
• 通过利用非线性优化技术，提升相对于现有方法的解质量。
• 引入相关性装置，以在不显著增加计算开销的情况下，增强各智能体之间的协调。
• 实现简洁、紧凑的控制器，以在性能与内存使用之间取得平衡。

提出的方法

• 将每个智能体的策略表示为具有固定内部状态数的随机有限状态控制器。
• 将策略优化问题表述为对控制器参数的非线性规划问题。
• 使用现成的非线性优化求解器，寻找控制器参数的局部最优解。
• 引入共享的相关性装置，以协调各智能体之间的动作，提升联合性能。
• 通过限制每个控制器中的状态数，平衡解的质量与内存成本。
• 利用现有的非线性规划技术，高效搜索策略空间。

实验结果

研究问题

• RQ1 非线性规划能否有效优化去中心化POMDP中记忆受限的控制器？
• RQ2 引入相关性装置对解质量与计算成本有何影响？
• RQ3 该方法在性能与紧凑性方面，相对于现有最先进方法的提升程度如何？
• RQ4 该方法在更大或更复杂的去中心化决策问题中具有多大的可扩展性？
• RQ5 控制器大小、解质量与计算需求之间存在何种权衡？

主要发现

• 所提出的非线性规划公式在基准问题上生成的控制器质量优于现有最先进方法。
• 引入相关性装置显著提升了联合性能，同时仅带来有限的内存和时间复杂度增加。
• 该方法生成了简洁、内存高效的控制器，在无限时域去中心化POMDP中保持了强大的性能。
• 尽管存在局部最优性保证，非线性优化技术在搜索去中心化POMDP的策略空间方面依然有效。
• 该方法在真实世界中不确定性下的去中心化决策问题中表现出良好的可扩展性与实用性。