[论文解读] Optimizing Age of Information in Vehicular Edge Computing with Federated Graph Neural Network Multi-Agent Reinforcement Learning

Wenhua Wang, Qiong Wu+5 more|arXiv (Cornell University)|Jul 1, 2024

Age of Information Optimization被引用 4

一句话总结

该论文提出了一种新型框架——联邦图神经网络多智能体强化学习（FGNN-MADRL），将车载网络建模为动态图，并利用基于图的联邦学习优化车载边缘计算中的信息年龄（AoI）。通过在隐私保护的联邦学习架构下，将图神经网络（GNNs）与多智能体深度强化学习相结合，FGNN-MADRL在高车辆密度和动态移动条件下，相比现有方法实现了更低的平均AoI和更高的能效。

ABSTRACT

With the rapid development of intelligent vehicles and Intelligent Transport Systems (ITS), the sensors such as cameras and LiDAR installed on intelligent vehicles provides higher capacity of executing computation-intensive and delay-sensitive tasks, thereby raising deployment costs. To address this issue, Vehicular Edge Computing (VEC) has been proposed to process data through Road Side Units (RSUs) to support real-time applications. This paper focuses on the Age of Information (AoI) as a key metric for data freshness and explores task offloading issues for vehicles under RSU communication resource constraints. We adopt a Multi-agent Deep Reinforcement Learning (MADRL) approach, allowing vehicles to autonomously make optimal data offloading decisions. However, MADRL poses risks of vehicle information leakage during communication learning and centralized training. To mitigate this, we employ a Federated Learning (FL) framework that shares model parameters instead of raw data to protect the privacy of vehicle users. Building on this, we propose an innovative distributed federated learning framework combining Graph Neural Networks (GNN), named Federated Graph Neural Network Multi-Agent Reinforcement Learning (FGNN-MADRL), to optimize AoI across the system. For the first time, road scenarios are constructed as graph data structures, and a GNN-based federated learning framework is proposed, effectively combining distributed and centralized federated aggregation. Furthermore, we propose a new MADRL algorithm that simplifies decision making and enhances offloading efficiency, further reducing the decision complexity. Simulation results demonstrate the superiority of our proposed approach to other methods through simulations.

研究动机与目标

• 解决在高车辆密度和动态移动条件下维持车载边缘计算（VEC）中数据新鲜度的挑战。
• 克服集中式多智能体强化学习（MADRL）训练中的隐私风险，避免在模型聚合过程中暴露原始车辆数据。
• 通过图表示学习利用车载网络的拓扑和动态特性，提升AoI性能。
• 通过设计一种轻量化、个性化的聚合机制，考虑车辆特定贡献，降低MADRL中的决策复杂度。
• 开发一种分布式、隐私保护的训练框架，结合联邦学习与图神经网络，提升VEC环境中模型的泛化能力。

提出的方法

• 将车载网络建模为动态图，其中车辆和路侧单元（RSUs）为节点，通信链路为边，实现空间与时间依赖关系的建模。
• 在联邦学习框架中集成图神经网络（GNNs），以提取并聚合车辆特定特征，如速度、数据量和模型训练质量。
• 设计一种个性化联邦聚合机制，基于GNN学习的节点重要性对模型更新进行加权，相比标准FedAvg，提升收敛速度与性能。
• 开发一种新型MADRL算法——FGNN-MADRL，其中每辆车辆作为独立智能体，基于本地观测和全局图嵌入状态表示做出卸载决策。
• 通过仅在中心RSU处交换模型参数或梯度，而非原始数据，实现模型训练与原始数据共享的解耦，确保隐私的同时支持协同学习。
• 结合基于分布式GNN的特征学习与集中式联邦模型聚合，实现在大规模VEC环境中可扩展性、隐私保护与性能之间的平衡。

Figure 1: System Scenario

实验结果

研究问题

• RQ1 将车载网络建模为图是否能提升对动态车辆交互的表征能力，并增强VEC中的AoI优化？
• RQ2 与标准MADRL或FL方法相比，将GNN集成到联邦多智能体强化学习中，如何降低决策复杂度并提升AoI性能？
• RQ3 基于GNN学习的车辆重要性加权的个性化联邦聚合，在FL-based VEC系统中相比均匀平均，能多大程度上实现性能超越？
• RQ4 FGNN-MADRL在不同车辆密度和速度下表现如何，特别是在AoI、功耗和吞吐量方面的表现？
• RQ5 所提出的框架能否在去中心化VEC场景中维持低AoI，同时最小化通信开销并保护用户数据隐私？

主要发现

• FGNN-MADRL在所有测试场景中均实现了最低的平均信息年龄（AoI），显著优于GFSAC、LFSAC和GBDR，尤其在高车辆到达率下表现突出。
• 随着车辆密度上升，FGNN-MADRL的平均AoI仅适度增加，而LFSAC和GBDR则出现急剧上升，表明其对网络负载具有更强的鲁棒性。
• 在所有方案中，FGNN-MADRL保持最低的平均功耗，得益于GNN学习的车辆状态引导的智能功率分配，展现出优异的能效表现。
• 在车辆速度和密度持续增加的条件下，FGNN-MADRL的吞吐量保持最高，因其基于图结构环境感知的协作决策有效降低了干扰。
• GNN组件提升了模型泛化能力：GNN节点过多或过少均会降低性能，表明存在最优图结构以实现信息提取与训练稳定性的平衡。
• FGNN-MADRL在动态、高移动性环境中相较于非强化学习基线（如GBDR）和标准FL-based RL方法（如GFSAC）表现出持续的性能提升，尤其在拓扑感知学习至关重要的场景中。

Figure 2: Distributed FL Based on GNN.