[论文解读] Team Games Optimality Conditions of Distributed Stochastic Differential Decision Systems with Decentralized Noisy Information Structures

Charalambos D. Charalambous, N. U. Ahmed|arXiv (Cornell University)|Apr 11, 2013

Advanced Research in Systems and Signal Processing参考文献 28被引用 6

一句话总结

本文利用随机庞特里亚金最大值原理，推导了在具有去中心化噪声信息结构的分布式随机微分系统中团队博弈的必要且充分最优性条件。通过利用半鞅表示、变分法和倒向随机微分方程，建立了刻画最优去中心化策略的哈密顿系统，并通过在通信和控制系统中的应用进行了验证。

ABSTRACT

We consider a team game reward, and we derive a stochastic Pontryagin's maximum principle for distributed stochastic differential systems with decentralized noisy information structures. Our methodology utilizes the semi martingale representation theorem, variational methods, and backward stochastic differential equations. Furthermore, we derive necessary and sufficient optimality conditions that characterize team and person-by-person optimality of decentralized strategies. Finally, we apply the stochastic maximum principle to several examples from the application areas of communications, filtering and control.

研究动机与目标

• 推导在去中心化噪声信息结构下分布式随机微分系统中团队博弈的必要且充分最优性条件。
• 将现有关于无噪声信息结构的结果推广到更复杂的噪声性、去中心化信息模式情形。
• 通过推导的条件，建立团队最优性与个体最优性之间的联系。
• 将理论框架应用于通信、滤波和控制系统中的实际示例。
• 将随机最大值原理推广至具有噪声观测的非线性、部分可观测及耦合的分布式系统。

提出的方法

• 利用半鞅表示定理，在存在噪声信息的情况下，对状态过程和协态过程进行分解。
• 应用变分法，推导在具有去中心化策略的团队博弈中的最优性一阶必要条件。
• 采用倒向随机微分方程（BSDEs）来刻画伴随过程和协态动态。
• 引入一个结合前向和后向SDE的哈密顿系统方程，用于计算最优去中心化策略。
• 在确保必要条件亦为充分条件的假设下，推导最优性条件，特别是在线性二次高斯（LQG）情形下。
• 通过滤波和控制问题中的显式解验证该框架，包括条件期望的卡尔曼滤波型方程。

实验结果

研究问题

• RQ1 在具有去中心化噪声信息结构的分布式随机微分系统中，团队最优性的必要且充分条件是什么？
• RQ2 如何将随机庞特里亚金最大值原理扩展至具有非完全可观测、去中心化且噪声信息模式的系统？
• RQ3 在何种条件下，所推导的必要条件可成为团队最优性的充分条件？
• RQ4 在去中心化决策框架中，最优策略与个体最优性之间有何关系？
• RQ5 所推导的最优性条件能否应用于具有噪声观测的通信网络和滤波系统等实际系统？

主要发现

• 本文建立了由前向和后向SDE组成的随机哈密顿系统方程，刻画了在团队博弈最优性下的最优去中心化策略。
• 对于线性二次高斯系统，最优控制策略被证明是状态和控制条件期望的线性函数，其显式形式在推论2中给出。
• 在高斯假设下，状态条件期望的滤波方程表现出类似卡尔曼的结构，尽管一般情况下可能涉及矩闭合问题。
• 最优策略通过前向和后向SDE耦合系统的解显式导出，协态过程由由创新过程驱动的BSDE所控制。
• 该框架将先前关于无噪声去中心化信息的结果推广至噪声情形，解决了部分可观测、去中心化系统固有的技术难题。
• 通过滤波和控制中的示例验证了结果，表明在LQG设置下，最优策略的性能可与集中式最优控制相媲美。