[论文解读] Sim-to-Real Transfer in Multi-agent Reinforcement Networking for Federated Edge Computing

Pinyarash Pinyoanuntapong, Tagore Pothuneedi+4 more|arXiv (Cornell University)|Oct 18, 2021

IoT and Edge/Fog Computing参考文献 6被引用 5

一句话总结

该论文提出 FedEdge 模拟器，一种基于 Linux 的高保真模拟器，用于在多跳无线网络中优化多智能体强化学习（MA-RL）的联邦边缘计算。通过集成基于 trace 的物理层仿真和动态链路调度，其在仿真与真实测试平台之间实现了近乎一致的性能表现，从而实现了极小的现实差距，支持有效的模拟到现实的知识迁移，且在不同环境中的联邦学习（FL）训练中，损失收敛和实际运行时间完全一致，已得到验证。

ABSTRACT

Federated Learning (FL) over wireless multi-hop edge computing networks, i.e., multi-hop FL, is a cost-effective distributed on-device deep learning paradigm. This paper presents FedEdge simulator, a high-fidelity Linux-based simulator, which enables fast prototyping, sim-to-real code, and knowledge transfer for multi-hop FL systems. FedEdge simulator is built on top of the hardware-oriented FedEdge experimental framework with a new extension of the realistic physical layer emulator. This emulator exploits trace-based channel modeling and dynamic link scheduling to minimize the reality gap between the simulator and the physical testbed. Our initial experiments demonstrate the high fidelity of the FedEdge simulator and its superior performance on sim-to-real knowledge transfer in reinforcement learning-optimized multi-hop FL.

研究动机与目标

• 解决多智能体强化学习（MA-RL）在联邦边缘计算中仿真与真实世界部署之间的现实差距。
• 开发一个可扩展的、高保真的仿真环境，以支持多跳无线联邦学习（FL）系统中强化学习策略的快速原型设计与高效训练。
• 通过最小化仿真与物理网络行为之间的差异，实现可靠的模拟到现实知识迁移。
• 通过仿真与真实测试平台之间联邦学习收敛性与训练时间的直接对比，验证模拟器的保真度。
• 支持在真实无线多跳网络条件下，对 MA-RL 优化的联邦学习路由进行成本效益高、大规模的实验。

提出的方法

• FedEdge 模拟器基于面向硬件的 FedEdge 实验框架构建，其扩展的物理层仿真器基于真实世界 RSSI trace 重放。
• 物理层仿真器采用基于 trace 的信道建模与动态链路调度，以反映实时无线条件，包括信噪比与链路带宽。
• 链路调度通过 802.11ac MCS 索引表将接收信号强度指示（RSSI）映射为传输速率，适用于 20MHz 信道。
• 应用多智能体强化学习（MA-RL）以优化联邦学习（FL）流量转发路径，最小化网络引入的延迟。
• 通过在仿真与物理测试平台之间实现 Q-table 传输并冻结策略，模拟器支持在线强化学习训练与知识迁移。
• 在 FEMNIST 基准数据集上，使用包含两层卷积层、最大池化层和一个 128 个单元的全连接层的卷积神经网络（CNN）模型进行联邦学习训练。

实验结果

研究问题

• RQ1 FedEdge 模拟器在联邦学习训练的损失收敛性和实际运行时间方面，多大程度上复现了真实世界的联邦学习性能？
• RQ2 预训练的 MA-RL 策略在模拟到现实的知识迁移中，多大程度上能减少物理测试平台上的训练时间并改善收敛性？
• RQ3 物理层保真度——特别是基于 trace 的信道建模与动态调度——在多智能体强化学习用于联邦边缘计算时，对最小化现实差距有何影响？
• RQ4 仿真中在线强化学习训练的性能与真实测试平台上的在线与目标测试相比如何？
• RQ5 该模拟器能否支持在多跳无线网络中对 MA-RL 优化的联邦学习系统进行可靠、可扩展且高效的原型设计？

主要发现

• 在使用最短路径路由的 20 个联邦学习训练周期中，FedEdge 模拟器在损失收敛性方面与真实测试平台表现近乎一致，证实了其高仿真保真度。
• 在 50 个训练周期后，仿真中在线强化学习训练与真实测试平台上的实际运行时间仅相差 2 分钟，表明时间偏差极小。
• 在基于 MA-RL 的路由中，仿真与测试平台在全局训练轮次的损失收敛性完全一致，证明了策略迁移的有效性。
• 仿真与测试平台实验中每轮联邦学习的耗时均稳定在 72–80 秒之间，模拟器因硬件开销较低而略快。
• 在 50 个联邦学习轮次中，所有方法的平均每轮耗时波动小且性能一致，支持了模拟器的可靠性。
• 在真实测试平台中使用冻结 Q-table 的目标测试性能略低于在线训练，原因在于缺乏对动态流量模式的适应能力，但差距微小，证实了预训练策略的价值。