[论文解读] Sampling and Remote Estimation for the Ornstein-Uhlenbeck Process through Queues: Age of Information and Beyond

Tasmeen Zaman Ornee, Yin Sun|arXiv (Cornell University)|Feb 10, 2019

Age of Information Optimization参考文献 56被引用 4

一句话总结

本文研究了通过排队系统对Ornstein-Uhlenbeck（OU）过程进行最优采样策略，表明当具备因果信号知识时，最优策略是基于瞬时估计误差的阈值策略。当缺乏此类知识时，最优策略最小化一个非线性信息年龄度量，并是基于期望估计误差的阈值策略，两者均可通过低复杂度算法（如二分查找和牛顿法）计算得出。

ABSTRACT

The age of information, as a metric for evaluating information freshness, has received a lot of attention. Recently, an interesting connection between the age of information and remote estimation error was found in a sampling problem of Wiener processes: If the sampler has no knowledge of the signal being sampled, the optimal sampling strategy is to minimize the age of information; however, by exploiting causal knowledge of the signal values, it is possible to achieve a smaller estimation error. In this paper, we extend a previous study by investigating a problem of sampling a stationary Gauss-Markov process, namely the Ornstein-Uhlenbeck (OU) process. The optimal sampling problem is formulated as a constrained continuous-time Markov decision process (MDP) with an uncountable state space. We provide an exact solution to this MDP: The optimal sampling policy is a threshold policy on instantaneous estimation error and the threshold is found. Further, if the sampler has no knowledge of the OU process, the optimal sampling problem reduces to an MDP for minimizing a nonlinear age of information metric. The age-optimal sampling policy is a threshold policy on expected estimation error and the threshold is found. These results hold for (i) general service time distributions of the queueing server and (ii) sampling problems both with and without a sampling rate constraint. Numerical results are provided to compare different sampling policies.

研究动机与目标

• 填补除Wiener过程外一般高斯-马尔可夫过程最优采样策略的空白。
• 分析在独立同分布服务时间与有限均值条件下，具有排队约束的OU过程远程估计问题。
• 推导在采样率约束下最小化时间平均均方估计误差（MSE）的最优采样策略。
• 通过分析OU过程这一典型情形，为更一般的信号模型提供最优采样策略的结构洞见。
• 证明最优策略是基于估计误差的阈值策略，且可通过低复杂度算法计算出最优阈值。

提出的方法

• 将采样问题建模为具有不可数状态空间的连续时间马尔可夫决策过程（MDP）。
• 使用拉格朗日对偶性将约束MDP转化为无约束问题，引入采样率约束的几何乘子。
• 在具备信号因果知识时，推导出基于瞬时估计误差的最优阈值策略。
• 在无信号知识的情况下，将问题重述为最小化非线性信息年龄度量，从而导出基于期望估计误差的阈值策略。
• 采用二分查找和牛顿法计算最优阈值，规避维度灾难问题。
• 考虑一般服务时间分布（仅要求有限均值），使结果对长传输延迟具有鲁棒性。

实验结果

研究问题

• RQ1 在具有OU过程和排队延迟的远程估计系统中，最小化估计误差的最优采样策略是什么？
• RQ2 对信号的因果知识如何影响最优采样策略的结构与性能？
• RQ3 尽管存在不可数状态空间和连续时间动态，最优采样策略能否高效计算？
• RQ4 在缺乏信号知识的情况下，信息年龄度量与估计误差之间存在何种关系？
• RQ5 一般服务时间分布如何影响采样策略的最优性与结构？

主要发现

• 当具备OU过程的因果信号知识时，最优采样策略是基于瞬时估计误差的阈值策略。
• 当无信号知识时，最优策略最小化一个非线性信息年龄度量，且为基于期望估计误差的阈值策略。
• 最优阈值可通过二分查找或牛顿法计算，确保计算复杂度较低。
• 约束问题与对偶问题之间的对偶间隙为零，证实了所推导策略的最优性。
• 结果适用于具有有限均值的一般服务时间分布，增强了对可变传输延迟的鲁棒性。
• 数值结果表明，利用因果信号知识可显著降低估计误差，优于仅优化信息年龄的策略。