[论文解读] The Prescription Approach to Decentralized Stochastic Control with Word-of-Mouth Communication

Aditya Dave, Andreas A. Malikopoulos|arXiv (Cornell University)|Jul 28, 2019

Distributed Control Multi-Agent Systems被引用 4

一句话总结

本文提出处方方法以解决具有口头传播通信的去中心化随机控制问题，其中代理通过网络以延迟方式相互通信。它推导出时不变空间下最优控制策略的结构性结果，并证明最优处方仅依赖于局部信息状态和完整处方，从而在非经典信息结构下实现全局最优解。

ABSTRACT

In this paper we analyze a network of agents that communicates through word of mouth. In a word-of-mouth communication system, every agent communicates with its neighbors with delays in communication. This is a non-classical information structure where the topological and temporal restrictions in communication mean that information propagates slowly through the network. We present the prescription approach to derive structural results for such problems. The structural results lead to optimal control strategies with time invariant domain-sizes. We show that these domains are smaller in size than the control strategies derived using the common information approach.

研究动机与目标

• 解决代理通过口头传播通信且存在延迟导致非经典信息结构的去中心化随机控制问题。
• 在通信约束下，对时不变空间中的最优控制策略进行结构性表征。
• 提供一种避免传统方法（如设计者方法）计算不可行性的解决方案框架。
• 将处方方法与共同信息方法进行比较，证明其在推导全局最优策略方面的优势。

提出的方法

• 处方方法将代理通信建模为具有延迟、邻居间信息交换的网络，以捕捉口头传播的动力学。
• 引入‘完整处方’的概念，其封装了基于当前和过去信息状态的所有未来控制动作。
• 在代理的联合信息状态上使用动态规划，推导出依赖于局部信息状态和完整处方的成本-到-目标函数。
• 证明每个代理的最优处方仅依赖于其自身的信息状态和其他代理的完整处方，从而实现时不变策略。
• 该方法利用原始随机变量的条件期望和概率分布来简化成本-到-目标表达式。
• 使用数学归纳法程序，推导出所有代理最优处方策略的结构性结果。

实验结果

研究问题

• RQ1 如何在具有口头传播通信和延迟信息交换的去中心化系统中推导出最优控制策略？
• RQ2 在由延迟的、基于邻居的通信引发的非经典信息结构下，最优控制策略的结构性特征是什么？
• RQ3 处方方法能否在个人最优方法失效时产生全局最优解？
• RQ4 与共同信息方法相比，处方方法在结构性简洁性和计算可行性方面有何差异？
• RQ5 在何种条件下，最优处方仅依赖于局部信息状态和其他代理的完整处方？

主要发现

• 每个代理的最优处方策略仅依赖于其自身的信息状态和其他代理的完整处方，从而实现时不变控制律。
• 每个代理的成本-到-目标函数可分解为局部成本与联合系统状态的期望，由于处方结构的存在，该表达式具有可处理性。
• 处方方法在非经典信息结构下可实现全局最优解，而个人最优方法可能仅能获得局部最优解。
• 该方法通过聚焦于最优策略的结构性质，避免了设计者方法的高计算复杂度。
• 通过数学归纳法证明了结构性结果，表明在时间 $t$ 时代理 $k$ 的最优处方是信息状态 $\Pi_t^k, \dots, \Pi_t^K$ 和完整处方 $\Theta_t^k, \dots, \Theta_t^K$ 的函数。
• 该方法即使在代理具有非对称且延迟的信息访问时（如无人机群或联网车辆网络），也能推导出最优控制策略。