[论文解读] Quantifying the Performance of Federated Transfer Learning

Qinghe Jing, Weiyan Wang+3 more|arXiv (Cornell University)|Dec 30, 2019

Privacy-Preserving Technologies in Data参考文献 15被引用 23

一句话总结

本文通过在 Google Cloud 上使用 FATE 对联邦迁移学习（FTL）的性能进行了定量评估，识别出进程间通信、数据加密开销以及网络状况是主要瓶颈。研究证明，通过优化这些因素，可在不损害隐私或准确性的前提下显著提升 FTL 的效率。

ABSTRACT

The scarcity of data and isolated data islands encourage different organizations to share data with each other to train machine learning models. However, there are increasing concerns on the problems of data privacy and security, which urges people to seek a solution like Federated Transfer Learning (FTL) to share training data without violating data privacy. FTL leverages transfer learning techniques to utilize data from different sources for training, while achieving data privacy protection without significant accuracy loss. However, the benefits come with a cost of extra computation and communication consumption, resulting in efficiency problems. In order to efficiently deploy and scale up FTL solutions in practice, we need a deep understanding on how the infrastructure affects the efficiency of FTL. Our paper tries to answer this question by quantitatively measuring a real-world FTL implementation FATE on Google Cloud. According to the results of carefully designed experiments, we verified that the following bottlenecks can be further optimized: 1) Inter-process communication is the major bottleneck; 2) Data encryption adds considerable computation overhead; 3) The Internet networking condition affects the performance a lot when the model is large.

研究动机与目标

• 理解真实世界联邦迁移学习（FTL）部署中的性能瓶颈。
• 评估通信、加密和网络状况等基础设施因素对 FTL 效率的影响。
• 为实际应用中 FTL 系统的优化提供定量洞察。
• 评估 FTL 中隐私、准确性和系统性能之间的权衡。

提出的方法

• 作者在 Google Cloud 基础设施上实现并评估了 FATE，一个真实世界的 FTL 框架。
• 他们通过受控实验测量了不同模型大小和数据分布下的训练时间、通信量以及计算开销。
• 通过隔离并分析客户端与服务器之间的消息传递，测量了进程间通信（IPC）开销。
• 通过比较 FTL 流程中启用与禁用加密时的训练时间，量化了数据加密成本。
• 通过改变带宽和延迟来评估网络状况对大模型训练的影响。
• 收集并分析性能指标，以识别 FTL 流程中的主要瓶颈。

实验结果

研究问题

• RQ1 真实世界 FTL 系统中的主要性能瓶颈是什么？
• RQ2 进程间通信（IPC）如何影响 FTL 的整体训练效率？
• RQ3 数据加密在多大程度上导致了 FTL 中的计算开销？
• RQ4 带宽和延迟等网络状况在多大程度上影响 FTL 性能，尤其是在大模型训练中？
• RQ5 所识别出的瓶颈是否可通过有效优化来提升 FTL 的可扩展性和效率？

主要发现

• 进程间通信（IPC）是 FTL 系统中的主要性能瓶颈，占用了大部分训练时间。
• 数据加密带来了显著的计算开销，尤其是在模型聚合阶段，这是由于频繁的密码操作所致。
• 网络状况，尤其是带宽和延迟，对使用大模型时的训练性能有显著影响。
• 随着模型规模的增加，网络状况导致的性能下降更加明显。
• 优化 IPC 并减少加密开销可显著提升 FTL 的效率。
• 本研究揭示，当前的 FTL 系统尚未在受限网络和计算资源条件下完全优化，尤其在真实部署场景中。