[论文解读] Robust Federated Learning in a Heterogeneous Environment

Avishek Ghosh, Justin Hong+2 more|arXiv (Cornell University)|Jun 16, 2019

Machine Learning and Algorithms参考文献 38被引用 150

一句话总结

论文提出一个三阶段的模块化框架，用于在异构数据和 Byzantine 工作者下的鲁棒联邦学习，包括本地模型的鲁棒聚类和鲁棒分布式优化，达到接近最优的误差率。它还分析了一种鲁棒 Lloyd 型聚类算法，并展示了相对于非鲁棒方法的显著实际收益。

ABSTRACT

We study a recently proposed large-scale distributed learning paradigm, namely Federated Learning, where the worker machines are end users' own devices. Statistical and computational challenges arise in Federated Learning particularly in the presence of heterogeneous data distribution (i.e., data points on different devices belong to different distributions signifying different clusters) and Byzantine machines (i.e., machines that may behave abnormally, or even exhibit arbitrary and potentially adversarial behavior). To address the aforementioned challenges, first we propose a general statistical model for this problem which takes both the cluster structure of the users and the Byzantine machines into account. Then, leveraging the statistical model, we solve the robust heterogeneous Federated Learning problem \emph{optimally}; in particular our algorithm matches the lower bound on the estimation error in dimension and the number of data points. Furthermore, as a by-product, we prove statistical guarantees for an outlier-robust clustering algorithm, which can be considered as the Lloyd algorithm with robust estimation. Finally, we show via synthetic as well as real data experiments that the estimation error obtained by our proposed algorithm is significantly better than the non-Byzantine-robust algorithms; in particular, we gain at least by 53\% and 33\% for synthetic and real data experiments, respectively, in typical settings.

研究动机与目标

• 在实际、可扩展的环境中推动在数据异质性和拜占庭故障下的鲁棒联邦学习。
• 开发一个将局部 ERMs、鲁棒聚类和鲁棒分布式优化结合在一起的模块化三阶段框架。
• 给出理论保证，显示在维度和数据样本数量下的估计误差接近最优。
• 引入并分析一种适用于高维的鲁棒 Lloyd 基于聚类方法。
• 在合成数据和真实数据集上展示相对于非鲁棒基线的经验收益。

提出的方法

• Stage I: 每个工作节点计算局部经验风险最小化解 erhatw(i) = argmin_w F(i)(w) 其中 F(i)(w) = (1/n) sum_j f(w; x^{i,j}).
• Stage II: 中心将 ERMs 聚成 K 个簇，使用鲁棒离群点的方法（当 n 很大时采用阈值聚类，或使用带鲁棒均值估计的鲁棒 Lloyd/K-means 变体）。
• Stage III: 在每个簇内，运行鲁棒的分布式优化算法（例如对低维/中等维度使用 trimmed mean，或对高维使用迭代筛选）以获得簇特异模型。
• 理论结果给出误差上界：||hatw_i - w_i*|| = O~( (alpha_hat_i * d)/sqrt(n) + d/sqrt(n M_i) ) 在某些假设下，且以高概率成立。
• 对于高维/离群点情形，分析扩展至带 trimmed K-means 的鲁棒聚类以及迭代筛选方法。
• 聚类分析包括一种鲁棒的 Lloyd 风格算法，保证错聚点数随适当初始化呈指数衰减。

实验结果

研究问题

• RQ1 如何在处理异质（聚簇化）数据分布的同时，使联邦学习对拜占庭工作者具有鲁棒性？
• RQ2 一个模块化的三阶段框架（本地 ERM、鲁棒聚类、鲁棒分布式优化）在拜占庭和异质性下实现接近最优的估计误差吗？
• RQ3 在存在对手的情况下，对本地模型进行鲁棒聚类的理论保证是什么，以及它们如何随维度扩大？
• RQ4 鲁棒聚合和聚类选择如何影响在合成数据和真实数据集上的实际性能？
• RQ5 在异质环境中，相对于非鲁棒联邦学习方法的性能提升有哪些？

主要发现

• 所提出的三阶段算法实现了接近最优的误差率：||hatw_i - w_i*|| = O~( (alpha_hat_i * d)/sqrt(n) + d/sqrt(n M_i) ).
• 鲁棒聚类（trimmed K-means / K-geomedians）比标准 K-means 能减少错聚簇点，且在适当初始化下错聚点呈指数衰减。
• 实验结果显示相对于非鲁棒基线有显著改进：在合成数据上估计误差降低至少53%，在 Yahoo! Learning to Rank 实验的真实数据上降低33%。
• 鲁棒 Lloyd 风格聚类分析在高维情形下提供理论保证，使该方法在大维度下具有实用性。
• 该框架保持模块化，允许在每个阶段使用不同的鲁棒子程序，同时保持整体性能保证。
• 类 Oracle 的比较表明，在许多情形中该方法的性能与知道非拜占庭簇身份的 Oracle 相当。