[论文解读] Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning

Le Liang, Hao Ye+1 more|arXiv (Cornell University)|May 8, 2019

Vehicular Ad Hoc Networks (VANETs)参考文献 32被引用 12

一句话总结

本文提出了一种基于指纹特征的深度Q网络（DQN）的多智能体强化学习（MARL）框架，用于在车辆网络中实现分布式频谱共享，其中多个V2V链路与预先分配的V2I链路共存。该方法通过使用共同奖励信号的去中心化学习，实现了协同的频谱与功率分配，显著提升了V2I总容量和V2V数据包传输速率。

ABSTRACT

This paper investigates the spectrum sharing problem in vehicular networks based on multi-agent reinforcement learning, where multiple vehicle-to-vehicle (V2V) links reuse the frequency spectrum preoccupied by vehicle-to-infrastructure (V2I) links. Fast channel variations in high mobility vehicular environments preclude the possibility of collecting accurate instantaneous channel state information at the base station for centralized resource management. In response, we model the resource sharing as a multi-agent reinforcement learning problem, which is then solved using a fingerprint-based deep Q-network method that is amenable to a distributed implementation. The V2V links, each acting as an agent, collectively interact with the communication environment, receive distinctive observations yet a common reward, and learn to improve spectrum and power allocation through updating Q-networks using the gained experiences. We demonstrate that with a proper reward design and training mechanism, the multiple V2V agents successfully learn to cooperate in a distributed way to simultaneously improve the sum capacity of V2I links and payload delivery rate of V2V links.

研究动机与目标

• 解决在难以获取精确信道状态信息的高速移动车辆网络中动态频谱接入的挑战。
• 通过允许V2V链路在干扰管理下复用V2I频谱，实现V2I与V2V链路的高效共存。
• 设计一种去中心化的资源分配机制，在无需集中协调的情况下，同时提升V2I总容量与V2V数据包传输速率。
• 通过基于指纹的DQN方法，克服多智能体强化学习在V2V频谱共享中面临的非平稳性问题。

提出的方法

• 将频谱共享问题建模为多智能体强化学习（MARL）任务，其中每个V2V链路作为独立智能体。
• 使用基于指纹的深度Q网络（DQN）通过在Q网络输入中引入独特的智能体特定特征，稳定训练过程并解决独立Q学习中的非平稳性问题。
• 采用具有优先经验采样的经验回放机制，提升MARL框架中的样本效率与训练稳定性。
• 设计一个联合优化V2I总容量与V2V数据包传输速率的共同奖励函数，以促进智能体间的协作。
• 将学习过程分解为集中式训练阶段与分布式推理阶段，支持在实时车辆环境中可扩展地部署。
• 采用基于时间约束的周期性训练方案，固定数据包大小为2,120字节，以在符合实际V2X时延约束的条件下评估性能。

实验结果

研究问题

• RQ1 去中心化的MARL框架能否有效协调多个V2V链路，在与V2I链路共享频谱的同时提升V2I与V2V的性能？
• RQ2 基于指纹的DQN方法在动态车辆环境中如何缓解多智能体Q学习中的非平稳性问题？
• RQ3 与随机频谱接入相比，所提出的MARL方案在多大程度上提升了V2V数据包传输的可靠性？
• RQ4 奖励设计在V2V智能体的频谱与功率分配协作中起到何种影响？
• RQ5 在高速移动与快衰落信道条件下，MARL方法的收敛特性与性能增益如何？

主要发现

• 所提出的MARL方法在约2,000次训练周期后实现频谱与功率分配的收敛，性能在3,000个周期后趋于稳定。
• 在100毫秒的时间约束周期内，MARL方案成功在所有链路上交付了100%的V2V数据包（2,120字节），而随机基线方案有一条V2V链路未能成功传输。
• V2V链路4在MARL方案中通过利用有利的信道条件实现早期完成，其他链路则相应调整速率以保护链路质量较差的节点。
• MARL方法实现了协作策略，V2V链路2与3轮流传输，确保两者均高效完成数据包交付。
• 随机基线方案未能保护信道条件较差的链路，导致尽管初始条件相似，V2V数据包传输失败率仍较高。
• MARL方法在脆弱链路上表现出显著更高的瞬时传输速率，并在整体频谱效率方面优于随机基线方案。