[论文解读] Optimal Control for LQG Systems on Graphs---Part I: Structural Results

Ashutosh Nayyar, Laurent Lessard|arXiv (Cornell University)|Aug 11, 2014

Stability and Control of Uncertain Systems参考文献 35被引用 6

一句话总结

本文提出了一种在多树图上实现LQG系统最优分散控制的结构化解决方案，其中控制器利用对祖先和后代的状态估计进行递归计算，以生成线性控制动作。核心贡献在于证明了充分统计量的存在性，并可通过类似卡尔曼滤波的方式进行更新，从而在保证性能的前提下，实现分散输出反馈设置下最优策略的高效计算。

ABSTRACT

In this two-part paper, we identify a broad class of decentralized output-feedback LQG systems for which the optimal control strategies have a simple intuitive estimation structure and can be computed efficiently. Roughly, we consider the class of systems for which the coupling of dynamics among subsystems and the inter-controller communication is characterized by the same directed graph. Furthermore, this graph is assumed to be a multitree, that is, its transitive reduction can have at most one directed path connecting each pair of nodes. In this first part, we derive sufficient statistics that may be used to aggregate each controller's growing available information. Each controller must estimate the states of the subsystems that it affects (its descendants) as well as the subsystems that it observes (its ancestors). The optimal control action for a controller is a linear function of the estimate it computes as well as the estimates computed by all of its ancestors. Moreover, these state estimates may be updated recursively, much like a Kalman filter.

研究动机与目标

• 识别一类广泛的分散LQG控制问题，使得最优策略可被高效计算。
• 回答增长的信息历史是否可被聚合而不会造成性能损失（问题1）。
• 建立最优分散控制策略在计算上可处理的条件（问题2）。
• 以祖先和后代状态估计的形式，刻画控制器中充分统计量的结构。
• 提供一种类似于卡尔曼滤波的递归估计框架，适用于分散LQG系统。

提出的方法

• 使用有向无环图（DAG）对分散LQG系统进行建模，其中边同时表示动态耦合与信息共享。
• 将多树结构定义为一种DAG，其传递约简后任意两点间最多存在一条有向路径。
• 为每个控制器引入聚合状态估计，整合来自祖先（被观测子系统）和后代（可影响子系统）的信息。
• 推导出状态估计的递归更新律，其结构与卡尔曼滤波类似，利用测量值和控制输入的线性组合。
• 证明每个控制器的最优控制动作是其自身估计以及所有祖先估计的线性函数。
• 通过图的深度进行归纳，并利用部分分离结果，证明所提出统计量的充分性。

实验结果

研究问题

• RQ1 在分散LQG系统中，每个控制器的信息历史是否可被聚合为一个有限维的充分统计量而不造成性能损失？
• RQ2 在何种图结构下，最优控制策略能基于状态估计表现出简单而直观的结构？
• RQ3 能否在分散输出反馈LQG系统中高效计算最优控制律？
• RQ4 是否存在一种递归估计机制——类似于卡尔曼滤波——以实现该类系统中状态估计的高效计算？
• RQ5 祖先和后代子系统在决定给定控制器的最优控制动作中起什么作用？

主要发现

• 对于多树上的LQG系统，最优控制策略是控制器自身状态估计及其所有祖先估计的线性函数。
• 每个控制器的充分统计量由其祖先（被观测子系统）和后代（可影响子系统）的状态估计组成。
• 状态估计可通过类似卡尔曼滤波的结构实现递归更新，从而支持高效的在线计算。
• 当其他控制器的策略固定时，最优控制问题在每个控制器处退化为集中式问题，验证了所提统计量的有效性。
• 在一般LQG假设下结果成立：线性时变动态、高斯噪声、二次型代价函数以及相关扰动。
• 该方法确保最优控制策略可在多项式时间内计算，解决了该类系统计算可处理性的问题。