[论文解读] Variance Reduced Median-of-Means Estimator for Byzantine-Robust Distributed Inference

Jiyuan Tu, Weidong Liu+2 more|arXiv (Cornell University)|Jan 1, 2021

Distributed Sensor Networks and Detection Algorithms被引用 2

一句话总结

本文提出了一种方差缩减的中位数平均（VRMOM）估计器，相较于传统的中位数平均估计器，其在保持计算效率的同时提升了统计效率，从而实现一种具有快速收敛性和渐近正态性的拜占庭鲁棒分布式推断算法——这是拜占庭鲁棒学习中首个实现渐近正态性的结果。

ABSTRACT

This paper develops an efficient distributed inference algorithm, which is robust against a moderate fraction of Byzantine nodes, namely arbitrary and possibly adversarial machines in a distributed learning system. In robust statistics, the median-of-means (MOM) has been a popular approach to hedge against Byzantine failures due to its ease of implementation and computational efficiency. However, the MOM estimator has the shortcoming in terms of statistical efficiency. The first main contribution of the paper is to propose a variance reduced median-of-means (VRMOM) estimator, which improves the statistical efficiency over the vanilla MOM estimator and is computationally as efficient as the MOM. Based on the proposed VRMOM estimator, we develop a general distributed inference algorithm that is robust against Byzantine failures. Theoretically, our distributed algorithm achieves a fast convergence rate with only a constant number of rounds of communications. We also provide the asymptotic normality result for the purpose of statistical inference. To the best of our knowledge, this is the first normality result in the setting of Byzantine-robust distributed learning. The simulation results are also presented to illustrate the effectiveness of our method.

研究动机与目标

• 解决中位数平均（MOM）估计器在拜占庭鲁棒分布式学习中统计效率低下的问题。
• 开发一种计算高效但统计能力强的MOM替代方法，同时保持对恶意节点的鲁棒性。
• 设计一种分布式推断算法，仅需常数数量的通信轮次即可实现快速收敛。
• 证明所提出的估计器的渐近正态性，从而在拜占庭鲁棒设置下实现有效的统计推断。
• 通过仿真对基于VRMOM的算法的有效性进行实证验证。

提出的方法

• 提出一种方差缩减的中位数平均（VRMOM）估计器，相较于标准MOM，其估计方差更小，同时保持计算简单。
• 将数据在节点间划分，计算局部均值，并应用方差缩减技术以稳定中位数平均的聚合过程。
• 设计一种分布式推断框架，节点仅交换本地估计值，从而最小化通信开销并增强鲁棒性。
• 使用中位数平均作为鲁棒聚合规则，以抵抗常数比例节点的任意拜占庭行为。
• 理论分析表明，该估计器在常数数量的通信轮次下可实现快速收敛速率。
• 在较弱的正则性条件下，建立了VRMOM估计器的渐近正态性，从而支持置信区间和假设检验。

实验结果

研究问题

• RQ1 我们能否在不牺牲分布式学习中计算效率的前提下，提升中位数平均估计器的统计效率？
• RQ2 MOM的方差缩减变体是否在分布式推断中仍能保持对拜占庭故障的鲁棒性？
• RQ3 基于VRMOM的分布式算法能否仅通过常数数量的通信轮次实现快速收敛？
• RQ4 在拜占庭鲁棒分布式学习背景下，渐近正态性是否可实现？若可实现，需满足何种条件？
• RQ5 在对抗性攻击下，所提出的基于VRMOM的算法与现有鲁棒估计器相比，在准确性和鲁棒性方面表现如何？

主要发现

• 所提出的VRMOM估计器在保持计算简单性的同时，统计效率高于原始中位数平均估计器。
• 基于VRMOM的分布式推断算法收敛迅速，仅需常数数量的通信轮次。
• 本文首次建立了拜占庭鲁棒分布式估计器的渐近正态性结果，从而支持正式的统计推断。
• 仿真结果表明，VRMOM方法在对抗性节点行为下仍能保持高精度。
• 在存在拜占庭故障的情况下，该方法在估计方差和收敛速度方面优于标准MOM。