[论文解读] Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning

Bin Gu, An Xu+3 more|arXiv (Cornell University)|Aug 14, 2020

Privacy-Preserving Technologies in Data参考文献 45被引用 17

一句话总结

本文提出了首个针对垂直划分数据的异步联邦学习算法——AFSGD-VP及其SVRG与SAGA变体，实现了多方协作学习中的隐私保护与高效训练。该方法在强凸性条件下实现收敛，且在计算资源不平衡的情况下，效率显著优于同步方法，同时通过密码学技术保护数据与模型隐私。

ABSTRACT

The privacy-preserving federated learning for vertically partitioned data has shown promising results as the solution of the emerging multi-party joint modeling application, in which the data holders (such as government branches, private finance and e-business companies) collaborate throughout the learning process rather than relying on a trusted third party to hold data. However, existing federated learning algorithms for vertically partitioned data are limited to synchronous computation. To improve the efficiency when the unbalanced computation/communication resources are common among the parties in the federated learning system, it is essential to develop asynchronous training algorithms for vertically partitioned data while keeping the data privacy. In this paper, we propose an asynchronous federated SGD (AFSGD-VP) algorithm and its SVRG and SAGA variants on the vertically partitioned data. Moreover, we provide the convergence analyses of AFSGD-VP and its SVRG and SAGA variants under the condition of strong convexity. We also discuss their model privacy, data privacy, computational complexities and communication costs. To the best of our knowledge, AFSGD-VP and its SVRG and SAGA variants are the first asynchronous federated learning algorithms for vertically partitioned data. Extensive experimental results on a variety of vertically partitioned datasets not only verify the theoretical results of AFSGD-VP and its SVRG and SAGA variants, but also show that our algorithms have much higher efficiency than the corresponding synchronous algorithms.

研究动机与目标

• 解决多参与方场景下垂直划分数据中缺乏高效且隐私保护的联邦学习算法的问题。
• 克服现有仅支持同步方法在计算与通信资源不平衡的真实系统中的局限性。
• 设计异步随机优化算法，在保障数据与模型隐私的同时支持可扩展的协作学习。
• 为所提出的异步算法在强凸性条件下的收敛性提供理论分析。
• 通过实验验证所提方法在多样化垂直划分数据集上的效率与隐私保障性能。

提出的方法

• 提出AFSGD-VP，一种专为垂直划分数据设计的异步联邦随机梯度下降算法，其中每个参与方可持有相同实体的不同特征。
• 通过引入方差减少技术，将AFSGD-VP扩展为SVRG与SAGA变体，以加速收敛。
• 采用密码学协议确保数据与模型隐私，防止通信与聚合过程中的信息泄露。
• 利用李雅普诺夫函数方法推导收敛边界，分析异步性与方差减少对优化稳定性的影响。
• 引入递归误差边界分析，建立在强凸性条件下对延迟梯度与部分更新的收敛速率。
• 采用参数更新机制，使各参与方可独立进行更新而无需等待其他方，从而提升系统效率。

实验结果

研究问题

• RQ1 异步联邦学习能否在保护隐私的前提下有效应用于垂直划分数据？
• RQ2 异步性如何影响在垂直协作设置下联邦学习的收敛性？
• RQ3 异步联邦学习的方差减少变体（SVRG、SAGA）在收敛速度与稳定性方面是否优于标准异步SGD？
• RQ4 所提异步算法在强凸性条件下的理论收敛速率是多少？
• RQ5 所提算法在效率与隐私方面与现有同步联邦学习方法相比如何，特别是在垂直划分数据上？

主要发现

• 所提出的AFSGD-VP、SVRG与SAGA变体在强凸性条件下实现收敛，且为异步更新推导出理论边界。
• 在计算负载不平衡的情况下，这些算法在训练效率上显著优于其同步对应方法。
• AFSGD-VP的收敛速率在强凸性条件下为O(1/t)，明确体现了异步性与方差减少的影响。
• SAGA变体由于梯度方差更低，其收敛速率快于AFSGD-VP，该结论得到理论分析与实验的共同验证。
• 在垂直划分数据集上的大量实验验证了理论收敛性，并表明其训练效率显著高于同步方法。
• 所提方法通过安全聚合与密码学技术保护数据与模型隐私，确保原始数据不被暴露。