[论文解读] Optimal Policies for Status Update Generation in a Wireless System with Heterogeneous Traffic

George Stamatakis, Νικόλαος Παππάς+1 more|arXiv (Cornell University)|Oct 7, 2018

Age of Information Optimization参考文献 35被引用 7

一句话总结

本文提出了一种针对异构流量无线系统的最优状态更新生成策略，采用马尔可夫决策过程（MDP）方法，解决了低功耗物联网设备中信息年龄（AoI）与队列延迟之间的权衡问题。研究发现，传统策略如零等待（zero-wait）和最大采样（max-sampling）因忽略非AoI敏感流量及重传成本而表现次优，而基于MDP的最优策略在多种网络条件下显著降低了长期成本。

ABSTRACT

A large body of applications that involve monitoring, decision making, and forecasting require timely status updates for their efficient operation. Age of Information (AoI) is a newly proposed metric that effectively captures this requirement. Recent research on the subject has derived AoI optimal policies for the generation of status updates and AoI optimal packet queueing disciplines. Unlike previous research we focus on low-end devices that typically support monitoring applications in the context of the Internet of Things. We acknowledge that these devices host a diverse set of applications some of which are AoI sensitive while others are not. Furthermore, due to their limited computational resources they typically utilize a simple First-In First-Out (FIFO) queueing discipline. We consider the problem of optimally controlling the status update generation process for a system with a source-destination pair that communicates via a wireless link, whereby the source node is comprised of a FIFO queue and two applications, one that is AoI sensitive and one that is not. We formulate this problem as a dynamic programming problem and utilize the framework of Markov Decision Processes to derive optimal policies for the generation of status update packets. Due to the lack of comparable methods in the literature, we compare the derived optimal policies against baseline policies, such as the zero-wait policy, and investigate the performance of all policies for a variety of network configurations. Results indicate that existing status update policies fail to capture the trade-off between frequent generation of status updates and queueing delay and thus perform poorly.

研究动机与目标

• 为支持AoI敏感与非AoI敏感应用的低功耗物联网设备，解决及时状态更新的挑战。
• 在FIFO队列系统中，对频繁状态更新与非状态流量引起的队列延迟之间的权衡进行建模。
• 设计一种最优控制策略，用于状态更新生成，以最小化结合AoI与传输机制成本的代价函数。
• 在不同网络条件与系统约束下，评估所推导策略相对于基线策略的性能。

提出的方法

• 将状态更新生成问题建模为具有时变代价函数的有限时域马尔可夫决策过程（MDP）。
• 将系统状态建模为包含AoI、队列长度及待重传次数的元组，以同时捕捉状态与非状态流量。
• 引入一个虚拟代价 $ G_{\Delta_{\max}} $，用于表示当AoI超过阈值时使用抢占式传输机制的惩罚。
• 使用动态规划求解MDP，并推导出最小化期望无限时域代价的最优控制策略。
• 应用值迭代与策略迭代算法，计算不同网络参数下的最优策略。
• 对最大AoI（$ \Delta_{\max} $）施加硬性约束，当该约束被违反时，触发临时抢占式传输模式。

实验结果

研究问题

• RQ1 在FIFO队列的无线系统中，非AoI敏感流量的存在如何影响现有状态更新策略的最优性？
• RQ2 当AoI敏感与非AoI敏感流量共享一个具有重传限制的单一FIFO队列时，最优状态更新生成策略是什么？
• RQ3 不同的信道成功概率与队列大小如何影响不同更新策略的性能？
• RQ4 使用抢占式传输机制的成本在多大程度上影响最优更新策略？
• RQ5 基于MDP的最优策略在长期代价方面是否能显著优于零等待与最大采样等基线策略？

主要发现

• 在非状态流量较高或信道不可靠的系统中，零等待策略表现较差，因其未能考虑队列延迟与重传成本。
• 最大采样策略的代价显著高于最优策略，尤其在队列增大时，原因在于等待时间增加及频繁使用昂贵的抢占机制。
• 当 $ G_{\Delta_{\max}} $ 较高时，基于MDP的最优策略相比从不采样策略，可将期望无限时域代价降低一个数量级。
• 将队列大小从4增加到8，使最大采样策略的代价翻倍以上，且显著提高了最优策略的代价，原因在于状态相关等待时间增加。
• 放宽 $ \Delta_{\max} $ 约束（从10提升至20）可显著降低所有策略的代价，表明更严格的AoI约束会导致更高的运行成本。
• 零等待策略对队列大小变化不敏感，因其控制动作仅依赖于队列是否为空，而非队列长度，因此在高负载场景下虽鲁棒但次优。