[论文解读] To Skip or to Switch? Minimizing Age of Information under Link Capacity Constraint

Boyu Wang, Songtao Feng+1 more|arXiv (Cornell University)|Jun 22, 2018

Age of Information Optimization参考文献 26被引用 3

一句话总结

本文研究在具有速率限制链路的状态更新系统中，针对每个更新需 d ≥ 2 个时隙传输的场景，最小化信息年龄（AoI）的在线调度问题。证明了最优策略为具有多阈值结构的更新策略，并利用马尔可夫决策过程（MDP）中的结构化值迭代方法，数值识别出可最小化期望平均 AoI 的阈值。

ABSTRACT

Consider a scenario where a source continuously monitors an object and sends time-stamped status updates to a destination through a rate-limited link. In order to measure the "freshness" of the status information available at the destination, we adopt the metric called Age of Information (AoI). We assume all updates are of the same size, and arrive randomly at the source according to a Bernoulli process. Due to the link capacity constraint, it takes $d$ ($d\geq 2$) time slots for the source to complete the transmission of an update. Therefore, when a new update when arrives at the source and it is transmitting another update, the source needs to decide whether to skip the new arrival or to switch to it, in order to minimize the expected average AoI at the destination. We prove that within a broadly defined class of online policies, the optimal policy should be a renewal policy, and has a sequential switching property. We then show that the optimal decision the source should take in any time slot has a multiple-threshold structure, and only depends on the age of the update being transmitted and the AoI in the system. The thresholds are then numerically identified by formulating the problem as a Markov Decision Process (MDP).

研究动机与目标

• 在固定大小更新且多时隙传输延迟的单链路状态监控系统中，最小化期望平均信息年龄（AoI）。
• 当新更新在传输过程中到达时，确定最优在线调度策略，需做出跳过或切换的决策。
• 在更新需 d ≥ 2 个时隙传输的约束下，刻画最优策略的结构特性。
• 提出一种计算高效的算法，利用 MDP 和结构化值迭代方法识别最优决策阈值。
• 将最优策略与从不切换的短视策略进行性能比较，后者在传输过程中永不切换。

提出的方法

• 将系统建模为一个离散时间马尔可夫决策过程（MDP），状态由当前更新的年龄（Δ）、传输已持续的时隙数（L）以及新更新的到达状态（λ）共同定义。
• 证明在广泛的一类在线策略中，最优策略为更新策略，即决策仅依赖于当前更新周期。
• 建立多阈值结构：是否切换的决策取决于 Δ 和 L 的阈值，且具有单调性特性，从而减少搜索空间。
• 提出一种结构化值迭代算法，利用阈值结构避免每次迭代中对全状态空间进行评估，降低计算复杂度。
• 利用伯努利更新到达过程（参数 p）推导的转移概率，建模在不同动作（跳过或切换）下的状态演化。
• 设定参考状态（d, 0, 0）以稳定值迭代过程，并迭代计算最优代价到目标函数。

实验结果

研究问题

• RQ1 当更新需多个时隙传输且新更新可能在传输过程中到达时，最小化平均 AoI 的最优在线调度策略是什么？
• RQ2 最优策略是否表现出基于当前更新年龄和传输进度的多阈值结构特性？
• RQ3 最优策略与从不切换的短视策略相比，性能如何？
• RQ4 尽管 MDP 状态空间维度较高，最优策略是否仍可高效计算？
• RQ5 在何种条件下，最优策略与短视策略会变得等价？

主要发现

• 最优策略为具有多阈值结构的更新策略，其中切换决策仅依赖于当前更新的年龄（Δ）和传输进度（L）。
• 切换阈值在 Δ 和 L 上单调递减，证实了顺序切换特性，从而支持高效计算。
• 当 d=10 且 p=0.07 时，最优阈值为 τ₁=9, τ₂=8, τ₃=7, τ₄=6，表示在更新周期的第 4 个时隙之后到达的更新始终被跳过。
• 最优策略在平均 AoI 方面显著优于短视策略，尤其在中等到达率区间表现更优。
• 当 p 极小或极大时，最优策略与短视策略的性能差距消失，因两者行为趋于一致。
• 结构化值迭代算法成功识别出最优阈值，并通过利用阈值结构的单调性，有效降低了计算复杂度。