[论文解读] Toward an Automated Auction Framework for Wireless Federated Learning Services Market

Yutao Jiao, Ping Wang+3 more|arXiv (Cornell University)|Dec 13, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用 9

一句话总结

本文提出了一种用于无线联邦学习（FL）服务的自动化拍卖框架，采用反向多维拍卖（RMA）和基于深度强化学习的拍卖（DRLA）机制，以最大化社会福利。DRLA机制通过图神经网络和深度强化学习增强，通过优化工作者选择和支付，在考虑无线约束和数据质量的前提下，实现了高于RMA和基准方法的社会福利。

ABSTRACT

In traditional machine learning, the central server first collects the data owners' private data together and then trains the model. However, people's concerns about data privacy protection are dramatically increasing. The emerging paradigm of federated learning efficiently builds machine learning models while allowing the private data to be kept at local devices. The success of federated learning requires sufficient data owners to jointly utilize their data, computing and communication resources for model training. In this paper, we propose an auction based market model for incentivizing data owners to participate in federated learning. We design two auction mechanisms for the federated learning platform to maximize the social welfare of the federated learning services market. Specifically, we first design an approximate strategy-proof mechanism which guarantees the truthfulness, individual rationality, and computational efficiency. To improve the social welfare, we develop an automated strategy-proof mechanism based on deep reinforcement learning and graph neural networks. The communication traffic congestion and the unique characteristics of federated learning are particularly considered in the proposed model. Extensive experimental results demonstrate that our proposed auction mechanisms can efficiently maximize the social welfare and provide effective insights and strategies for the platform to organize the federated training.

研究动机与目标

• 为解决因隐私顾虑和资源限制导致的数据所有者参与联邦学习的激励挑战。
• 设计一种拍卖机制，以在具有异构数据所有者的无线FL市场中最大化社会福利。
• 在拍卖设计中确保真实性、个体理性以及计算效率等经济属性。
• 将通信拥塞和非对称信道条件等无线特定约束纳入拍卖模型。
• 开发一种基于深度强化学习和图神经网络的自动化、策略无关机制，以提升性能。

提出的方法

• 设计一种反向多维拍卖（RMA）机制，将数据大小、EMD（地球移动距离）和无线信道需求作为关键属性。
• 基于真实世界实验引入数据质量函数，将数据大小和EMD映射到模型准确率，实现对工作者贡献的公平估值。
• 开发一种基于深度强化学习的拍卖（DRLA）机制，利用图神经网络从工作者报告的类型中提取特征，并学习最优分配策略。
• 使用基于累积社会福利的奖励信号训练DRLA智能体，使其在数百个minibatch后收敛至高性能策略。
• 通过精心设计支付规则和分配逻辑，确保RMA和DRLA机制在真实性与个体理性方面表现良好。
• 在模型中引入真实无线环境约束，包括非对称上行链路速率和因拥塞导致的潜在断连。

实验结果

研究问题

• RQ1 如何设计一种拍卖机制，以在具有异构数据所有者的无线联邦学习市场中最大化社会福利？
• RQ2 拍卖机制中必须保持的关键经济属性（真实性、个体理性、计算效率）有哪些？
• RQ3 如何有效建模并整合数据质量（以数据大小和EMD衡量）到拍卖机制中？
• RQ4 与贪婪或基于规则的机制相比，深度强化学习和图神经网络能在多大程度上提升社会福利？
• RQ5 无线约束（如信道拥塞和非对称上行链路速率）如何影响拍卖性能和工作者选择？

主要发现

• DRLA机制实现的社会福利高于RMA机制，在经过数百个minibatch的训练后，能快速收敛至稳定且高性能状态。
• RMA和DRLA机制的社会福利随数据所有者数量增加而提升，但增幅递减，因额外参与者的边际收益减少。
• 提高平台的数据质量阈值（通过提高d_max或降低σ_max）可提升社会福利，前提是存在足够多高质量数据所有者。
• DRLA机制的公平性低于RMA，因其倾向于按顺序选择高价值工作者，从而减少了低质量参与者的机会。
• 基准频谱拍卖机制（来自[44]）忽略数据质量和无线约束，其社会福利低于RMA和DRLA，证实了为FL量身定制拍卖设计的必要性。
• 在RMA机制中增加组数（G）可提升社会福利，通过更优识别高质量数据所有者，减少对低质量贡献者的依赖。