[论文解读] Sampling for Data Freshness Optimization: Non-linear Age Functions

Yin Sun, Benjamin Cyr|arXiv (Cornell University)|Dec 18, 2018

Age of Information Optimization参考文献 75被引用 9

一句话总结

本文提出了一种最优采样策略，用于在实时监控系统中最小化非线性年龄信息度量。通过将数据新鲜度建模为年龄的非增函数，将问题形式化为带约束的马尔可夫决策过程，并证明最优解为阈值策略——确定性或随机性——通过二分查找计算，有效避免了在一般服务时间分布及连续与离散时间设置下的维数灾难。

ABSTRACT

In this paper, we study how to take samples at a data source for improving the freshness of received data samples at a remote receiver. We use non-linear functions of the age of information to measure data freshness, and provide a survey of non-linear age functions and their applications. The sampler design problem is studied to optimize these data freshness metrics, even when there is a sampling rate constraint. This sampling problem is formulated as a constrained Markov decision process (MDP) with a possibly uncountable state space. We present a complete characterization of the optimal solution to this MDP: The optimal sampling policy is a deterministic or randomized threshold policy, where the threshold and the randomization probabilities are characterized based on the optimal objective value of the MDP and the sampling rate constraint. The optimal sampling policy can be computed by bisection search, and the curse of dimensionality is circumvented. These age optimality results hold for (i) general data freshness metrics represented by monotonic functions of the age of information, (ii) general service time distributions of the queueing server, (iii) both continuoustime and discrete-time sampling problems, and (iv) sampling problems both with and without the sampling rate constraint. Numerical results suggest that the optimal sampling policies can be much better than zero-wait sampling and the classic uniform sampling.

研究动机与目标

• 为解决线性年龄信息度量在捕捉特定应用数据新鲜度需求方面的局限性。
• 设计最小化非线性年龄度量（如效用、估计误差或时间相关性）的最优采样策略。
• 处理具有通用服务时间分布及连续与离散时间模型的系统中的采样速率约束。
• 提供一个统一框架，避免在高维状态空间中出现维数灾难。
• 证明在一般条件下，最优策略为基于阈值的策略，可通过二分查找计算。

提出的方法

• 将采样问题形式化为具有可能不可数状态空间的带约束马尔可夫决策过程（MDP）。
• 使用非递增效用函数 $ u(\Delta_t) $ 或非递减惩罚函数 $ p(\Delta_t) $ 来表示数据新鲜度。
• 应用拉格朗日松弛法处理采样速率约束，将问题转化为对偶优化问题。
• 将最优策略表征为确定性或随机性的阈值策略，其中阈值依赖于对偶变量和最优目标值。
• 采用二分查找计算满足采样速率约束的最优阈值和随机化概率。
• 利用 MDP 的结构特性规避维数灾难，实现在一般服务时间分布下的可计算性。

实验结果

研究问题

• RQ1 在实时系统中，最小化非线性年龄度量的最优采样策略是什么？
• RQ2 如何将采样速率约束最优地整合到具有非线性新鲜度函数的年龄信息优化中？
• RQ3 在何种条件下，基于阈值的采样策略对非线性年龄度量达到最优？
• RQ4 在具有通用服务时间分布的基于 MDP 的年龄优化中，能否避免维数灾难？
• RQ5 与零等待和均匀采样相比，所提出的策略在数据新鲜度方面表现如何？

主要发现

• 最优采样策略为确定性或随机性的阈值策略，其中阈值由最优目标值和与采样速率约束相关的对偶变量决定。
• 可通过二分查找计算阈值和随机化概率，确保即使在连续状态空间中也具有计算可处理性。
• 通过利用 MDP 的结构特性，所提出方法避免了维数灾难，使该方法适用于通用服务时间分布。
• 数值结果表明，最优策略在数据新鲜度度量方面显著优于零等待和均匀采样。
• 零等待策略的最优性得到刻画：当且仅当 $ \mathbb{E}[p(Y_i + Y_{i+1})] \geq \frac{\mathbb{E}[\int_{Y_i}^{Y_i+Y_{i+1}} p(t)dt]}{\mathbb{E}[Y_{i+1}]} $ 时，零等待策略最优，该条件在 $ Y_i $ 为常数或 $ Y_i $ 具有正下确界时成立。
• 对于严格递增的惩罚函数且 $ \text{ess}\inf Y_i = 0 $ 的情况，零等待策略为次优，证实了自适应阈值策略的必要性。