[论文解读] Reinforcement Learning for Minimizing Age of Information in Real-time Internet of Things Systems with Realistic Physical Dynamics.

Wang Si-hua, Mingzhe Chen+5 more|arXiv (Cornell University)|Apr 4, 2021

Age of Information Optimization参考文献 25被引用 4

一句话总结

本文提出了一种分布式强化学习框架，用于在具有非线性物理动态特性的物联网系统中联合优化采样策略与设备选择，最小化信息年龄（AoI）和能耗的加权和。与基线方法相比，该方法在真实PM2.5数据下将AoI降低了最多33.9%，能耗降低了最多35.1%。

ABSTRACT

In this paper, the problem of minimizing the weighted sum of age of information (AoI) and total energy consumption of Internet of Things (IoT) devices is studied. In the considered model, each IoT device monitors a physical process that follows nonlinear dynamics. As the dynamics of the physical process vary over time, each device must find an optimal sampling frequency to sample the real-time dynamics of the physical system and send sampled information to a base station (BS). Due to limited wireless resources, the BS can only select a subset of devices to transmit their sampled information. Meanwhile, changing the sampling frequency will also impact the energy used by each device for sampling and information transmission. Thus, it is necessary to jointly optimize the sampling policy of each device and the device selection scheme of the BS so as to accurately monitor the dynamics of the physical process using minimum energy. This problem is formulated as an optimization problem whose goal is to minimize the weighted sum of AoI cost and energy consumption. To solve this problem, a distributed reinforcement learning approach is proposed to optimize the sampling policy. The proposed learning method enables the IoT devices to find the optimal sampling policy using their local observations. Given the sampling policy, the device selection scheme can be optimized so as to minimize the weighted sum of AoI and energy consumption of all devices. Simulations with real data of PM 2.5 pollution show that the proposed algorithm can reduce the sum of AoI by up to 17.8% and 33.9% and the total energy consumption by up to 13.2% and 35.1%, compared to a conventional deep Q network method and a uniform sampling policy.

研究动机与目标

• 在实时监测非线性物理过程的物联网系统中，最小化信息年龄（AoI）和总能耗的加权和。
• 解决动态物理系统行为带来的挑战，即需要物联网设备自适应地选择采样频率。
• 在有限无线资源条件下，联合优化设备采样策略与基站（BS）的设备选择。
• 通过本地观测与分布式学习，实现对物理过程的节能、实时监控。
• 在保持对时变物理动态准确跟踪的同时，降低系统整体的AoI与能耗。

提出的方法

• 将采样频率与设备选择的联合优化建模为马尔可夫决策过程（MDP），并设计奖励函数以平衡AoI与能耗成本。
• 提出一种分布式强化学习算法，使每个物联网设备基于对物理过程与系统状态的本地观测，学习其最优采样策略。
• 采用函数逼近方法处理连续状态与动作空间，从而在大规模物联网部署中实现可扩展的学习。
• 在基站集成设备选择机制，根据当前AoI与能耗约束动态选择调度设备。
• 采用集中训练、分散执行（CTDE）范式，以确保在动态环境中具备可扩展性与适应性。
• 利用结合经验回放与目标网络的深度Q网络（DQN）优化采样策略，以稳定学习过程。

实验结果

研究问题

• RQ1 在具有非线性物理动态特性的系统中，物联网设备如何动态调整其采样频率，以最小化AoI与能耗的综合成本？
• RQ2 对采样策略与设备选择进行联合优化，对系统整体AoI与能效有何影响？
• RQ3 所提出的分布式强化学习方法相较于传统DQN与均匀采样方法，在AoI与能耗降低方面表现如何？
• RQ4 在资源受限的物联网网络中，基于局部观测的分布式学习能否实现全局最优或近似最优的系统性能？
• RQ5 在真实物理过程（如PM2.5污染）中，该算法在降低能耗的同时，能在多大程度上维持低AoI？

主要发现

• 所提出的强化学习方法在真实PM2.5数据下，与均匀采样策略相比，将总信息年龄（AoI）降低了最多33.9%。
• 与传统深度Q网络（DQN）基线相比，该算法实现了35.1%的总能耗降低。
• 与标准DQN方法相比，该方法将AoI降低了最多17.8%，表明其具备更高的学习效率与更优的策略收敛性。
• 分布式学习框架使每个物联网设备能够仅基于本地观测独立优化其采样频率，从而确保系统可扩展性。
• 采样与设备选择的联合优化显著提升了AoI与能效表现，优于传统启发式方法与基线学习方法。
• 基于真实世界PM2.5数据的仿真验证了该方法在真实无线约束下，对非线性、时变物理过程进行监测的有效性。