[论文解读] Privacy-Preserving Federated Learning for UAV-Enabled Networks: Learning-Based Joint Scheduling and Resource Management

Helin Yang, Jun Zhao+4 more|arXiv (Cornell University)|Nov 28, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 14

一句话总结

该论文提出了一种用于无人机（UAV）网络的异步联邦学习（AFL）框架，通过在设备上本地训练模型而不传输原始数据来保护隐私。该框架采用基于A3C的算法，联合优化设备选择、无人机定位和资源管理，在动态、资源受限的环境中实现比现有方法更快的收敛速度和更高的准确率。

ABSTRACT

Unmanned aerial vehicles (UAVs) are capable of serving as flying base stations (BSs) for supporting data collection, artificial intelligence (AI) model training, and wireless communications. However, due to the privacy concerns of devices and limited computation or communication resource of UAVs, it is impractical to send raw data of devices to UAV servers for model training. Moreover, due to the dynamic channel condition and heterogeneous computing capacity of devices in UAV-enabled networks, the reliability and efficiency of data sharing require to be further improved. In this paper, we develop an asynchronous federated learning (AFL) framework for multi-UAV-enabled networks, which can provide asynchronous distributed computing by enabling model training locally without transmitting raw sensitive data to UAV servers. The device selection strategy is also introduced into the AFL framework to keep the low-quality devices from affecting the learning efficiency and accuracy. Moreover, we propose an asynchronous advantage actor-critic (A3C) based joint device selection, UAVs placement, and resource management algorithm to enhance the federated convergence speed and accuracy. Simulation results demonstrate that our proposed framework and algorithm achieve higher learning accuracy and faster federated execution time compared to other existing solutions.

研究动机与目标

• 通过避免将原始设备数据传输至无人机服务器，解决无人机网络中的隐私问题。
• 在设备异构、资源受限的动态无人机网络中，提升联邦学习的效率与收敛速度。
• 联合优化设备选择、无人机定位与资源分配，以最小化联邦学习执行时间。
• 在不同信道条件和设备移动性下提升系统的可靠性与鲁棒性。

提出的方法

• 设计了一种异步联邦学习（AFL）框架，支持在设备上本地训练模型，无需将原始数据发送至无人机服务器。
• 提出一种设备选择策略，排除低质量设备，以维持模型准确率与训练效率。
• 提出一种基于异步优势演员-critic（A3C）的强化学习算法，联合优化设备选择、无人机定位与资源分配。
• 采用线性函数逼近方法表示动作价值函数 $ Q(s,a;\bm{\theta}_c) = \bm{\theta}_c^T \cdot \bm{\Psi}(s,a) $，以估计状态-动作值。
• 采用评论家网络，通过最小化均方投影贝尔曼误差来逼近最优动作价值函数。
• 在多无人机场景中协调多个智能体，使每个无人机能够更新对全局动作价值函数的共享估计，实现联合决策。

实验结果

研究问题

• RQ1 在跨移动设备训练人工智能模型时，如何在无人机网络中保护隐私？
• RQ2 设备异构性与动态信道条件对无人机网络中联邦学习收敛性有何影响？
• RQ3 如何通过联合优化设备选择、无人机定位与资源分配来提升联邦学习性能？
• RQ4 多智能体A3C方法能否有效协调无人机与设备，以加速收敛并减少执行时间？

主要发现

• 所提出的AFL框架由于有效的设备选择与隐私保护训练，相比基线方法实现了更高的模型准确率。
• 基于A3C的联合优化算法通过高效管理无人机定位与资源分配，显著缩短了联邦学习执行时间。
• 仿真结果表明，在动态信道条件与不同设备移动性下，收敛速度更快。
• 得益于设备选择机制，即使存在低质量设备，该方法仍能保持较高的学习准确率。
• 收敛性分析证明，A3C算法以高概率收敛至稳定解。