[论文解读] Reinforcement Learning based Multi-Access Control and Battery Prediction with Energy Harvesting in IoT Systems

Man Chu, Hang Li+2 more|arXiv (Cornell University)|May 11, 2018

Energy Harvesting in Wireless Networks参考文献 34被引用 6

一句话总结

本文提出了一种基于强化学习（RL）的框架，用于能量采集物联网系统中的联合多接入控制与电池状态预测。利用深度Q网络（DQN）和长短期记忆（LSTM）网络，该方法仅使用因果信道和电池状态信息，在最大化上行链路和速率的同时最小化电池状态预测误差，与基于模型的策略相比，和速率最高提升9.96%，与随机调度相比提升24.7%。

ABSTRACT

Energy harvesting (EH) is a promising technique to fulfill the long-term and self-sustainable operations for Internet of things (IoT) systems. In this paper, we study the joint access control and battery prediction problems in a small-cell IoT system including multiple EH user equipments (UEs) and one base station (BS) with limited uplink access channels. Each UE has a rechargeable battery with finite capacity. The system control is modeled as a Markov decision process without complete prior knowledge assumed at the BS, which also deals with large sizes in both state and action spaces. First, to handle the access control problem assuming causal battery and channel state information, we propose a scheduling algorithm that maximizes the uplink transmission sum rate based on reinforcement learning (RL) with deep Q-network (DQN) enhancement. Second, for the battery prediction problem, with a fixed round-robin access control policy adopted, we develop a RL based algorithm to minimize the prediction loss (error) without any model knowledge about the energy source and energy arrival process. Finally, the joint access control and battery prediction problem is investigated, where we propose a two-layer RL network to simultaneously deal with maximizing the sum rate and minimizing the prediction loss: the first layer is for battery prediction, the second layer generates the access policy based on the output from the first layer. Experiment results show that the three proposed RL algorithms can achieve better performances compared with existing benchmarks.

研究动机与目标

• 解决物联网系统中能量采集动态且不可预测的问题，且事先无法获知能量源信息。
• 设计一种在线、无模型的接入控制策略，仅基于因果信道和电池状态信息以最大化上行链路和速率。
• 开发一种电池状态预测算法，在不了解能量到达过程先验知识的前提下最小化预测误差。
• 通过双层强化学习架构，将接入控制与电池预测整合为单一联合优化框架。
• 在系统先验知识有限且能量源非平稳的真实场景中实现高性能表现。

提出的方法

• 将接入控制问题建模为部分可观测状态的马尔可夫决策过程（MDP），基于即时系统反馈使用深度Q网络（DQN）进行策略学习。
• 采用深度LSTM网络，利用历史能量与信道数据预测未来电池状态，以最小化均方预测误差。
• 提出一种双层强化学习架构：第一层通过LSTM预测电池水平，第二层将这些预测结果作为输入，由DQN智能体进行接入调度。
• 使用联合奖励函数端到端联合训练网络，以平衡和速率最大化与预测损失最小化。
• 在DQN中应用经验回放和目标网络，以稳定训练并在高维状态与动作空间中提升收敛性。
• 通过深度神经网络函数逼近处理连续且大规模的状态/动作空间，无需显式系统模型。

实验结果

研究问题

• RQ1 仅基于信道和电池状态的因果知识，无模型强化学习方法能否有效优化能量采集物联网系统中的上行链路和速率？
• RQ2 在未提供能量到达过程先验模型的情况下，深度LSTM网络对未来电池水平的预测精度如何？
• RQ3 与解耦方法相比，接入控制与电池预测的联合优化在多大程度上提升了系统性能？
• RQ4 所提出的基于强化学习的方法与基准策略（如轮询、随机、基于模型的策略）相比，在和速率与预测精度方面表现如何？
• RQ5 在不同电池容量与信道条件下，联合DQN-LSTM框架的收敛行为与稳定性如何？

主要发现

• 所提出的基于DQN的接入控制算法，其平均和速率比基于模型的策略（MP）高出9.96%，比轮询策略高21.1%，比随机调度高24.7%。
• 电池预测损失在约22,000个训练步后稳定在约0.0175个单位，表明预测具有高精度。
• 联合双层强化学习框架收敛稳定，电池预测损失在和速率奖励之前达到平衡，表明准确预测可支持更优的调度决策。
• 随着电池容量提高和可用信道数量增加，平均和速率随之提升，原因在于能量溢出减少及调度机会改善。
• 随着训练进行，所提DQN与离线最优上界之间的性能差距逐渐缩小，充分训练后达到上界的95.86%。
• 即使在缺乏能量动态先验知识的情况下，系统仍能实现比MP高9.96%、比随机调度高24.7%的稳定平均和速率。