[论文解读] Towards V2I Age-aware Fairness Access: A DQN Based Intelligent Vehicular Node Training and Test Method

Qiong Wu, Shuai Shi+4 more|arXiv (Cornell University)|Aug 2, 2022

Age of Information Optimization被引用 5

一句话总结

本文提出一种基于DQN的强化学习方法，用于智能车载节点在V2I网络中动态学习并预测最优最小竞争窗口（MCW）设置，通过最小化数据年龄来实现年龄感知的公平性，同时尊重隐私。与基线协议相比，该方法在复杂、动态场景（车辆行为未知）下显著提升了年龄公平性效用。

ABSTRACT

Vehicles on the road exchange data with base station (BS) frequently through vehicle to infrastructure (V2I) communications to ensure the normal use of vehicular applications, where the IEEE 802.11 distributed coordination function (DCF) is employed to allocate a minimum contention window (MCW) for channel access. Each vehicle may change its MCW to achieve more access opportunities at the expense of others, which results in unfair communication performance. Moreover, the key access parameters MCW is the privacy information and each vehicle are not willing to share it with other vehicles. In this uncertain setting, age of information (AoI) is an important communication metric to measure the freshness of data, we design an intelligent vehicular node to learn the dynamic environment and predict the optimal MCW which can make it achieve age fairness. In order to allocate the optimal MCW for the vehicular node, we employ a learning algorithm to make a desirable decision by learning from replay history data. In particular, the algorithm is proposed by extending the traditional DQN training and testing method. Finally, by comparing with other methods, it is proved that the proposed DQN method can significantly improve the age fairness of the intelligent node.

研究动机与目标

• 解决车辆自私且私密地调整MCW时导致的动态V2I网络中不公平的信道访问问题。
• 通过使用信息年龄（AoI）作为关键指标，而非传统的吞吐量或延迟，来提升数据新鲜度。
• 设计一种智能车载节点，使其能够从本地观测中学习最优MCW设置，而无需共享私有的MCW值。
• 通过构建强化学习框架以最大化长期公平性效用，实现年龄公平性。
• 在不同车辆密度、到达率和网络复杂度下评估所提方法的性能。

提出的方法

• 通过引入回放缓冲区和经验回放，扩展传统深度Q网络（DQN）的训练与测试过程，以稳定从序列观测中学习。
• 基于本地网络观测定义状态空间，包括车辆密度和信道竞争水平。
• 将动作空间设置为离散的MCW值（例如32、64、128、256、512），以控制访问频率。
• 设计奖励函数，通过惩罚高AoI并促进车辆间数据新鲜度的均衡，来鼓励年龄公平性。
• 使用实时协议仿真生成年龄数据集，用于在动态V2I环境中训练深度强化学习模型。
• 采用双重DQN方法以减少过度估计偏差，并在训练过程中提升策略稳定性。

实验结果

研究问题

• RQ1 基于DQN的智能体是否能在保护隐私的动态V2I环境中学习到最优MCW设置，从而提升年龄公平性？
• RQ2 在不同车辆到达与离开速率下，所提方法的性能表现如何？
• RQ3 与固定MCW、基于规则和基线强化学习方法相比，该模型在年龄公平性效用方面的表现如何？
• RQ4 该模型在具有多样化MCW状态的复杂网络场景中适应程度如何？
• RQ5 该方法是否能在不同网络密度和状态转移概率下维持较高的公平性效用？

主要发现

• 在简单车辆场景中，所提出的DQN方法在年龄公平性效用上优于SP、DT和基线方法，尤其当MCW设置为64时表现更优。
• 当MCW = 64时，年龄公平性效用高于MCW = 128的情况，因为较低的MCW值为智能节点提供了更多访问机会。
• 在MCW状态空间更大的复杂场景（32–512）中，DQN方法优于DT和SP方法，即使在高不确定性（ps = 0.75）下，其性能也接近最优效用。
• 最优策略与DQN方法之间的性能差距合理，表明在部分可观测条件下仍能有效学习。
• DT方法在复杂场景中性能显著下降，归因于泛化能力差，有时甚至劣于标准协议。
• SP方法在MCW变化时改善微弱，证实固定MCW设置无法适应动态环境；而DQN方法在不同网络状态中均保持了稳定的公平性。