[论文解读] Value of Information in Feedback Control

Touraj Soleymani, John S. Baras+1 more|arXiv (Cornell University)|Dec 18, 2018

Age of Information Optimization参考文献 27被引用 6

一句话总结

本文为在完全信息与不完全信息条件下最优事件触发控制构建了理论框架，将最优触发与控制策略表征为纳什均衡。它在每个时间步引入基于成本的信息价值（VoI）量化方法，从而实现具有性能保证的次优触发策略。

ABSTRACT

In this article, we investigate the impact of information on networked control systems, and illustrate how to quantify a fundamental property of stochastic processes that can enrich our understanding about such systems. To that end, we develop a theoretical framework for the joint design of an event trigger and a controller in optimal event-triggered control. We cover two distinct information patterns: perfect information and imperfect information. In both cases, observations are available at the event trigger instantly, but are transmitted to the controller sporadically with one-step delay. For each information pattern, we characterize the optimal triggering policy and optimal control policy such that the corresponding policy profile represents a Nash equilibrium. Accordingly, we quantify the value of information $\operatorname{VoI}_k$ as the variation in the cost-to-go of the system given an observation at time $k$. Finally, we provide an algorithm for approximation of the value of information, and synthesize a closed-form suboptimal triggering policy with a performance guarantee that can readily be implemented.

研究动机与目标

• 理解信息可得性如何影响随机动力学下网络化控制系统的性能。
• 解决具有延迟观测与间歇性传输的系统中事件触发器与控制器的联合设计问题。
• 将信息价值（VoI）形式化为在时间k接收观测后代价函数的减少量。
• 推导在完全与不完全信息模式下的最优触发与控制策略。
• 为实际应用提供一种计算上可行的次优策略，并附带性能保证。

提出的方法

• 将控制问题形式化为具有单步延迟观测的随机最优控制框架。
• 将信息价值（VoI_k）定义为在时间k接收到观测时，代价函数的改变量。
• 在完全与不完全信息下，将最优触发策略与最优控制策略表征为纳什均衡。
• 推导递归的向后动态规划公式，以计算代价函数与VoI_k。
• 提出VoI_k的近似算法，以支持实时实现。
• 合成一种具有理论性能边界的闭式次优触发策略。

实验结果

研究问题

• RQ1 在具有延迟反馈的网络化系统中，事件触发器处的信息可得性如何影响最优控制策略？
• RQ2 在具有间歇性观测的随机控制系统中，信息价值（VoI_k）的精确基于成本的定义是什么？
• RQ3 如何在不完全信息下联合设计最优触发与控制策略，使其构成纳什均衡？
• RQ4 在完全信息与不完全信息模式下，最优触发策略的结构分别是什么？
• RQ5 能否设计一种具有性能保证的次优触发策略，使其在实时应用中计算上可行？

主要发现

• 信息价值VoI_k被量化为在时间k接收观测后代价函数的减少量，提供了信息效用的精确度量。
• 在完全与不完全信息下，最优触发与控制策略均构成纳什均衡，确保相互最优性。
• 最优触发策略依赖于当前状态估计与VoI_k，反映了控制性能与通信成本之间的权衡。
• 推导出一种具有性能保证的闭式次优触发策略，支持实际部署。
• VoI_k的近似算法使得在实时控制应用中高效计算信息价值成为可能。
• 该框架适用于具有单步延迟观测的系统，因此适用于带宽受限的网络化控制。