[论文解读] Stochastic Optimal Control in Continuous Space-Time Multi-Agent Systems

Wim Wiegerinck, Bart van den Broek+1 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用 11

一句话总结

该论文将随机最优控制理论扩展至连续时空多智能体系统，表明在非交互智能体分布于目标时，最优控制可简化为按终态代价加权的单智能体控制的组合求和。关键贡献是一种可扩展的方法，其计算成本仅随指派图的树宽呈指数增长，从而实现了最多42个智能体的仿真。

ABSTRACT

Recently, a theory for stochastic optimal control in non-linear dynamical systems in continuous space-time has been developed (Kappen, 2005). We apply this theory to collaborative multi-agent systems. The agents evolve according to a given non-linear dynamics with additive Wiener noise. Each agent can control its own dynamics. The goal is to minimize the accumulated joint cost, which consists of a state dependent term and a term that is quadratic in the control. We focus on systems of non-interacting agents that have to distribute themselves optimally over a number of targets, given a set of end-costs for the different possible agent-target combinations. We show that optimal control is the combinatorial sum of independent single-agent single-target optimal controls weighted by a factor proportional to the end-costs of the different combinations. Thus, multi-agent control is related to a standard graphical model inference problem. The additional computational cost compared to single-agent control is exponential in the tree-width of the graph specifying the combinatorial sum times the number of targets. We illustrate the result by simulations of systems with up to 42 agents.

研究动机与目标

• 开发适用于具有非线性动力学和加性维纳噪声的连续时空多智能体系统的随机最优控制框架。
• 解决在联合代价最小化下，具有状态相关项和控制二次项的最优多智能体协调问题。
• 实现对非交互智能体在多个目标上分布时最优控制策略的高效计算。
• 将多智能体最优控制与标准图模型推理问题关联，以实现计算上的可行性。

提出的方法

• 作者将Kappen（2005）的随机最优控制理论应用于具有加性维纳噪声的连续时空动力学。
• 每个智能体控制其自身动力学，联合代价在时间上最小化，包含状态相关项和二次控制代价。
• 最优控制策略被推导为独立单智能体控制的组合求和，权重为智能体-目标配对的终态代价。
• 该方法利用指派图的结构，计算成本仅随图的树宽呈指数增长，随目标数线性增长。
• 该方法将多智能体问题简化为图模型中的标准推理问题，可通过动态规划或信念传播高效求解。
• 仿真验证了该方法在最多42个智能体系统中的有效性，展示了其可扩展性和最优性。

实验结果

研究问题

• RQ1 如何将随机最优控制扩展至具有非线性动力学和加性噪声的连续时空多智能体系统？
• RQ2 此类系统中最优多智能体控制的计算复杂度是什么？如何实现最小化？
• RQ3 多个智能体的最优控制策略能否分解为单智能体控制的组合求和？
• RQ4 指派图的树宽如何影响求解多智能体控制问题的计算成本？
• RQ5 标准图模型推理技术在多智能体随机最优控制中可应用到何种程度？

主要发现

• 非交互智能体的最优控制策略是独立单智能体控制的组合求和，每项按对应终态代价加权。
• 该方法的计算成本仅随指定智能体-目标指派关系图的树宽呈指数增长，而非随智能体数量增长。
• 该方法实现了最多42个智能体系统的最优控制，仿真结果已验证。
• 该问题可简化为标准图模型推理任务，从而可使用成熟的推理算法。
• 通过路径积分公式，平衡了二次控制代价与状态相关终态代价，确保收敛至最优策略。
• 该框架保持了动力学的连续时空特性，同时实现了可扩展的多智能体协调。