[论文解读] Optimal Decentralized State-Feedback Control with Sparsity and Delays

Andrew Lamperski, Laurent Lessard|arXiv (Cornell University)|May 31, 2013

Distributed Control Multi-Agent Systems参考文献 23被引用 4

一句话总结

本文提出了一种统一解法，用于在联合稀疏性和时延约束下实现最优去中心化线性二次型状态反馈控制，采用动态规划方法。通过将噪声历史分解，并利用带有0（即时）和1（单步延迟）边的有向图建模信息流，作者推导出显式的、分布式控制器结构，该结构推广了仅含时延或仅含稀疏性的先前结果，并在定理3中提供了新颖的分布式消息传递实现方式。

ABSTRACT

This work presents the solution to a class of decentralized linear quadratic state-feedback control problems, in which the plant and controller must satisfy the same combination of delay and sparsity constraints. Using a novel decomposition of the noise history, the control problem is split into independent subproblems that are solved using dynamic programming. The approach presented herein both unifies and generalizes many existing results.

研究动机与目标

• 统一并推广现有在稀疏性和时延约束下关于去中心化LQR控制的研究成果。
• 为具有受限信息流的多智能体系统中的最优状态反馈控制，开发一种计算高效且结构可解释的解法。
• 将经典动态规划方法扩展至处理混合稀疏性和时延约束，通过新颖的噪声历史分解方法。
• 提供最优控制器的分布式消息传递实现方式，支持可扩展且去中心化的计算。
• 建立一个框架，推广先前关于部分嵌套性、二次不变性以及在结构化信息约束下的Riccati解法的研究工作。

提出的方法

• 使用有向图对系统进行建模，其中边标记为0（即时）或1（单步延迟），以编码信息流中的稀疏性和时延约束。
• 将噪声历史分解为与每个控制器信息集相关的分量，通过动态规划实现独立子问题的构建。
• 通过求解依赖于控制器信息结构（由图的拓扑定义）的Riccati差分方程，推导出最优控制策略。
• 利用时间与节点对之间的偏序关系，实现向后递推和控制器状态的分布式计算。
• 提出一种新颖的控制器状态表示方式，即作为基于可用信息的延迟全局状态估计的线性组合。
• 证明最优控制器可通过分布式消息传递实现，其中每个智能体使用本地测量值和来自延迟图中前驱节点的传入消息来计算其控制动作。

实验结果

研究问题

• RQ1 当稀疏性和时延共同限制信息交换时，如何合成最优去中心化状态反馈控制？
• RQ2 经典动态规划方法能否在统一框架下扩展以处理混合稀疏性和时延约束？
• RQ3 在这些混合约束下，最优控制器的结构形式是什么？是否能够高效计算？
• RQ4 如何通过本地计算和消息传递实现最优控制器的分布式实现？
• RQ5 现有仅含时延或仅含稀疏性约束的结果，在多大程度上可作为该统一框架的特例？

主要发现

• 证明最优控制器是全局状态延迟估计的线性函数，其结构由信息图的拓扑决定。
• 该解法将先前关于时延约束LQR（如[8]）和稀疏性约束LQR（如[23, 24]）的结果作为特例推广。
• 在定理3中推导出一种分布式消息传递算法，使每个智能体仅通过本地测量值和来自延迟图中前驱节点的传入消息即可计算其控制动作。
• 最优控制器的Riccati差分方程依赖于控制器的信息集，而该信息集由图的可达性和时延结构决定。
• 证明代价函数（cost-to-go）关于控制器状态为二次型，其系数通过图的偏序关系进行向后递推计算。
• 该方法兼具计算效率与物理解释性，因为控制器状态代表了在给定可用信息下的全局状态的条件估计。