[论文解读] Peer-to-peer Federated Learning on Graphs

Anusha Lalitha, Osman Cihan Kilinc+2 more|arXiv (Cornell University)|Jan 31, 2019

Privacy-Preserving Technologies in Data参考文献 11被引用 139

一句话总结

该论文在图上提出一种完全去中心化的点对点联邦学习算法，节点使用本地数据和一跳邻居更新类似贝叶斯的信念，并给出高概率保证，在线性回归和带变分推断的DNN上进行验证。

ABSTRACT

We consider the problem of training a machine learning model over a network of nodes in a fully decentralized framework. The nodes take a Bayesian-like approach via the introduction of a belief over the model parameter space. We propose a distributed learning algorithm in which nodes update their belief by aggregate information from their one-hop neighbors to learn a model that best fits the observations over the entire network. In addition, we also obtain sufficient conditions to ensure that the probability of error is small for every node in the network. We discuss approximations required for applying this algorithm to train Deep Neural Networks (DNNs). Experiments on training linear regression model and on training a DNN show that the proposed learning rule algorithm provides a significant improvement in the accuracy compared to the case where nodes learn without cooperation.

研究动机与目标

• 通过利用具有本地数据的网络化节点，在没有中心服务器的情况下激励学习。
• 开发一个类似贝叶斯的信念更新加邻居共识以学习全局模型。
• 给出在所有节点上实现全局最优模型的高概率保证。
• 将框架专业化到线性回归和深度神经网络。
• 通过变分推断展示可扩展的DNN训练的实际可行性。

提出的方法

• 将网络建模为一个有向图，并使用一个捕捉邻居影响的随机权重矩阵 W。
• 每个节点在有限参数集 Theta 上维护私有信念和公有信念，并使用其数据执行局部贝叶斯更新。
• 节点与一跳邻居交换公有信念，并通过对数信念共识步骤更新其私有信念。
• 在每次迭代中将估计 hat{theta} 声明为当前私有信念的极大化点。
• 给出理论保证，在温和的连通性和可学习性假设下，所有节点收敛到 Theta* 的高概率。
• 在应用于 DNN 时，用变分推断替代精确贝叶斯更新，以获得可处理的近似。

实验结果

研究问题

• RQ1 在没有中心服务器的情况下，如何在完全去中心化的网络中进行学习？
• RQ2 确保所有节点学习到全局最优参数所需的样本复杂度和网络连通性要求是什么？
• RQ3 该框架能否对线性和非线性（DNN）模型都学习出准确结果？
• RQ4 如何利用变分推断来扩展对复杂模型的贝叶斯更新？
• RQ5 与孤立的本地学习或集中式训练相比，可以实现哪些性能提升？

主要发现

• Theorem 1 提供一个高概率界限：P(存在 i 使 hat{theta}^{(n)}_i 不在 Theta*) ≤ delta，当 n ≥ 16 C log(NM/δ) / (K(Theta)^2 (1 − λ_max(W))).
• Corollary 1 给出网络平均真实风险差的上界，在假设4 下以 sqrt(r) 规模。
• 该算法在温和的连通性和可学习性假设下实现对全局最优模型的学习，训练样本的下界随节点数和参数数量对数增长。
• 在分布式贝叶斯线性回归上的实验表明，当采用协作时，去中心化学习能达到与中心服务器相同的性能。
• 对于 DNNs，基于 VI 的更新实现可扩展的去中心化训练，与给定设置中的中心基线相比，精度损失可以忽略不计。
• 在分布式 MNIST fashion 数据上的经验结果表明，在 IID 和非 IID、平衡和不平衡等场景下，实现了准确的分布式训练。