[论文解读] VAFL: a Method of Vertical Asynchronous Federated Learning

Tianyi Chen, Xiao Jin+2 more|arXiv (Cornell University)|Jul 12, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用 88

一句话总结

VAFL 提出了一种带本地嵌入的异步纵向联邦学习框架，能够在无需协调的情况下在客户端进行更新，并通过扰动的本地嵌入来保护隐私。它为凸、非凸和非光滑目标提供收敛性保证，并在图像和医疗数据上展示了具有竞争力的结果。

ABSTRACT

Horizontal Federated learning (FL) handles multi-client data that share the same set of features, and vertical FL trains a better predictor that combine all the features from different clients. This paper targets solving vertical FL in an asynchronous fashion, and develops a simple FL method. The new method allows each client to run stochastic gradient algorithms without coordination with other clients, so it is suitable for intermittent connectivity of clients. This method further uses a new technique of perturbed local embedding to ensure data privacy and improve communication efficiency. Theoretically, we present the convergence rate and privacy level of our method for strongly convex, nonconvex and even nonsmooth objectives separately. Empirically, we apply our method to FL on various image and healthcare datasets. The results compare favorably to centralized and synchronous FL methods.

研究动机与目标

• 解决纵向（特征分区）联邦学习在异步客户端更新方面的挑战。
• 允许每个客户端独立训练其本地嵌入并仅通信紧凑的嵌入。
• 通过扰动的本地嵌入提供隐私保护机制并分析差分隐私保证。
• 在异步延迟下为非凸、强凸和非光滑目标建立收敛速率。
• 在联邦逻辑回归和深度学习任务上对图像和医疗数据集进行方法验证。

提出的方法

• 将纵向FL形式化为全局服务器模型 theta0 和来自本地数据 xm 的每客户端本地嵌入 hi 映射；优化 F(theta0, theta) = (1/N) sum_n ell(theta0, h_n,1, ..., h_n,M; y_n) + sum_m r(theta_m).
• 提出 VAFL：异步客户端更新，活动客户端上传 h_n,m、查询梯度并更新其本地的 theta；服务器使用延迟的嵌入来更新 theta0；支持非协调的数据选择和间歇性参与。
• 通过在嵌入的每一层添加随机神经元 Z_l 来实现扰动本地嵌入，以平滑映射并实现差分隐私；定义扰动 ZL ~ N(0, c^2) 和 Zl ~ Uniform[-√3 cl, √3 cl]。
• 在有界延迟和随机未界定延迟的情况下建立收敛性结果，对非凸和强凸情况给出步长安排，确保非凸为 O(1/√K) 而强凸为 O(1/K)。
• 引入平滑性分析，表明扰动嵌入通过对 Z 的期望得到平滑目标 F_c，从而使收敛性证明成立。
• 通过 mu-Gaussian 差分隐私展示隐私-效用权衡，并推导扰动方差对 GDP 保证的条件。

实验结果

研究问题

• RQ1 在具有非线性、可能非光滑的本地嵌入的纵向FL中，异步更新是否可行有效？
• RQ2 在有界和无界延迟下，对于非凸和强凸目标，VAFL 能达到何种收敛速率？
• RQ3 扰动本地嵌入如何同时影响隐私保证（GDP）和学习性能？
• RQ4 与集中化与同步 FL 相比，VAFL 是否在图像和医疗数据集上实现具竞争力的性能？

主要发现

• 在有界延迟条件下，VAFL 在非凸情况下实现 O(1/√K) 的收敛，在强凸情况下实现 O(1/K) 的收敛。
• 在随机无界延迟下，VAFL 达到与有界延迟情形相同数量级的收敛速率。
• 扰动的本地嵌入使目标变得更平滑，并在不造成过大精度损失的前提下实现差分隐私，GDP 与扰动方差相关。
• 在 MNIST、Fashion-MNIST、CIFAR10、 Parkinson’s 数据集、ModelNet40 和 MIMIC-III 上的经验结果显示，VAFL 的准确率与集中化模型相当，在墙钟时间上优于完全同步的 FL。
• 该框架支持间歇性客户端参与与通过差分隐私技术的数据隐私，同时保持具有竞争力的性能。