[论文解读] Securing Distributed Machine Learning in High Dimensions

Lili Su, Jiaming Xu|arXiv (Cornell University)|Apr 26, 2018

Privacy-Preserving Technologies in Data被引用 26

一句话总结

该论文提出了一种针对高维机器学习的鲁棒、分布式梯度下降方法，可容忍恒定比例的拜占庭式工作者。通过利用迭代过滤梯度聚合器并建立样本协方差矩阵的统一集中性，即使在 $d \gg n$ 的情况下，该方法在 $O(\log N)$ 轮内实现了 $O(\sqrt{q/N} + \sqrt{d/N})$ 的估计误差。该方法在高维设置下，面对敌对工作者行为时仍能保证收敛。

ABSTRACT

We consider securing a distributed machine learning system wherein the data is kept confidential by its providers who are recruited as workers to help the learner to train a $d$--dimensional model. In each communication round, up to $q$ out of the $m$ workers suffer Byzantine faults; faulty workers are assumed to have complete knowledge of the system and can collude to behave arbitrarily adversarially against the learner. We assume that each worker keeps a local sample of size $n$. (Thus, the total number of data points is $N=nm$.) Of particular interest is the high-dimensional regime $d \gg n$. We propose a secured variant of the classical gradient descent method which can tolerate up to a constant fraction of Byzantine workers. We show that the estimation error of the iterates converges to an estimation error $O(\sqrt{q/N} + \sqrt{d/N})$ in $O(\log N)$ rounds. The core of our method is a robust gradient aggregator based on the iterative filtering algorithm proposed by Steinhardt et al. \cite{Steinhardt18} for robust mean estimation. We establish a uniform concentration of the sample covariance matrix of gradients, and show that the aggregated gradient, as a function of model parameter, converges uniformly to the true gradient function. As a by-product, we develop a new concentration inequality for sample covariance matrices of sub-exponential distributions, which might be of independent interest.

研究动机与目标

• 解决在数据分布在多个工作者且部分工作者可能表现恶意行为的高维设置下，保障分布式机器学习安全性的挑战。
• 设计一种在最多 $q$ 名 $m$ 名工作者为敌对且串通的情况下，对拜占庭故障具有鲁棒性的梯度聚合机制。
• 确保在高维情形 $d \gg n$ 下，即使存在拜占庭式工作者，模型参数仍能收敛，而传统方法可能失效。
• 在分布式学习的敌对条件下，建立关于估计误差和收敛速率的理论保证。

提出的方法

• 该方法采用基于 Steinhardt 等人（2018）提出的迭代过滤算法的鲁棒梯度聚合器，用于鲁棒均值估计。
• 通过利用样本协方差矩阵的统一集中性，确保聚合梯度在所有模型参数上统一逼近真实梯度函数。
• 该方法将每个工作者的本地梯度建模为次高斯随机向量，并为这类分布的样本协方差矩阵推导出一个新的集中不等式。
• 该算法以轮次运行，每轮中每个工作者在其大小为 $n$ 的数据集上计算本地梯度，并将其发送给学习者，学习者使用过滤机制进行聚合。
• 过滤过程迭代地移除异常值，并计算梯度均值的鲁棒估计，从而最小化拜占庭式工作者的影响。
• 该方法被设计为在 $O(\log N)$ 轮内收敛，其收敛性与聚合梯度对真实梯度的统一收敛性相关。

实验结果

研究问题

• RQ1 当恒定比例的工作者为拜占庭式且串通时，分布式机器学习系统是否能在高维设置下保持准确性和安全性？
• RQ2 在 $d \gg n$ 的情况下，如何使梯度聚合对敌对行为具有鲁棒性？
• RQ3 在高维分布式学习中，面对拜占庭故障时，可以为估计误差和收敛速率建立哪些理论保证？
• RQ4 能否推导出针对次高斯样本协方差矩阵的新集中不等式，并利用其证明聚合梯度的统一收敛性？

主要发现

• 即使在 $d \gg n$ 的情况下，模型迭代的估计误差在 $O(\log N)$ 轮内收敛至 $O(\sqrt{q/N} + \sqrt{d/N})$。
• 所提出的鲁棒梯度聚合器确保了聚合梯度在所有模型参数上对真实梯度函数的统一收敛。
• 推导出了一种针对次高斯分布样本协方差矩阵的新集中不等式，该不等式在证明主要收敛结果中起到了关键作用。
• 该方法可容忍高达恒定比例的拜占庭式工作者，即使这些工作者完全了解系统并相互串通。
• 理论分析表明，尽管存在敌对干扰，梯度聚合过程仍保持稳定和准确。
• 在所提出的鲁棒聚合框架下，实现了 $O(\log N)$ 轮的收敛速率。