[论文解读] Optimal Scheduling of Multiple Sensors over Lossy and Bandwidth Limited Channels

Shuang Wu, Ding, Kemi+2 more|arXiv (Cornell University)|Apr 16, 2018

Age of Information Optimization参考文献 40被引用 3

一句话总结

本文通过将问题建模为马尔可夫决策过程（MDP），提出了一种在丢包、带宽受限的无线信道上对多个传感器进行最优调度的策略。证明了单调和基于索引的策略的最优性，通过Whittle索引实现闭式表达式的高效在线实施，并通过仿真表明，该索引策略在最小化总估计成本与通信成本方面优于常见的启发式方法。

ABSTRACT

This work considers the sensor scheduling for multiple dynamic processes. We consider $n$ linear dynamic processes, the state of each process is measured by a sensor, which transmits their local state estimates over wireless channels to a remote estimator with certain communication costs. In each time step, only a portion of the sensors is allowed to transmit data to the remote estimator and the packet might be lost due to unreliability of the wireless channels. Our goal is to find a scheduling policy which coordinates the sensors in a centralized manner to minimize the total expected estimation error of the remote estimator and the communication costs. We formulate the problem as a Markov decision process. We develop an algorithm to check whether there exists a deterministic stationary optimal policy. We show the optimality of monotone policies, which saves computational effort of finding an optimal policy and facilitates practical implementation. Nevertheless, obtaining an exact optimal policy still suffers from curse of dimensionality when the number of processes are large. We further provide an index-based heuristics to avoid brute force computation. Numerical examples are presented to illustrate our theoretical results.

研究动机与目标

• 解决在信道丢包和带宽限制下，通过集中式方式协调多个传感器以最小化远程估计误差和通信成本的挑战。
• 将传感器调度问题建模为无限时域平均成本的马尔可夫决策过程（MDP）。
• 通过算法化检验，建立存在确定性平稳最优策略的条件。
• 证明单调策略是最优的，从而降低实际实现中的计算复杂度。
• 提出一种基于Whittle索引的启发式方法，推导出闭式表达式，避免大规模系统中的维度灾难。

提出的方法

• 将传感器调度问题建模为连续时间MDP，状态由每个传感器的年龄信息（持有时间）和估计误差协方差定义。
• 证明每个传感器过程在Whittle意义下是可索引的，从而支持基于索引的调度。
• 基于每个传感器的估计误差和传输成本，推导出Whittle索引的解析闭式表达式。
• 提出一种改进的Whittle索引策略，考虑传输成本，从而在性能上优于原始索引策略。
• 通过蒙特卡洛仿真在多种系统配置下实现并评估该索引策略，涵盖不同数量的传感器和带宽约束。
• 在相同仿真条件下，将该索引策略与两种常见启发式策略（最大误差优先和最大延迟优先）进行比较。

实验结果

研究问题

• RQ1 在丢包、带宽受限的信道上，多个传感器调度的确定性平稳最优策略在何种条件下存在？
• RQ2 能否证明该MDP公式下的单调策略是最优的？该结构是否能降低计算复杂度？
• RQ3 每个独立的传感器过程是否在Whittle意义下可索引，从而支持基于索引的调度？
• RQ4 能否推导出同时包含估计误差和传输成本的Whittle索引的闭式表达式？
• RQ5 在不同系统规模下，所提出的索引策略在总期望成本（估计成本+通信成本）方面与启发式策略相比表现如何？

主要发现

• 所提出的具有闭式索引的Whittle索引策略相比求解完整MDP，显著降低了计算复杂度，实现了可扩展的在线实施。
• 改进的Whittle索引策略（考虑传输成本）在最小化总成本方面，优于原始Whittle索引和两种启发式策略。
• 数值结果表明，Whittle索引策略在不同系统规模下均保持优异性能，当 $ m/n = 0.4 $ 时，其平均总成本低于最大误差优先和最大延迟优先启发式策略。
• 改进Whittle策略下活跃传感器的平均比例低于100%，表明其具有更好的成本感知调度能力，而启发式策略始终激活恰好 $ m $ 个传感器。
• 单调策略结构被证实是最优的，验证了理论上的搜索空间缩减对最优调度决策的可行性。
• 该索引策略渐近最优，仿真结果也实证确认其在多样化系统配置下接近最优的性能表现。