[论文解读] The Non-IID Data Quagmire of Decentralized Machine Learning

Kevin Hsieh, Amar Phanishayee+2 more|arXiv (Cornell University)|Oct 1, 2019

Privacy-Preserving Technologies in Data参考文献 65被引用 91

一句话总结

本论文分析跨分区的标签分布偏斜（非 IID 数据）如何降低去中心化学习的性能，并提出 SkewScout 和 Group Normalization 作为解决办法，展示了显著的准确率提升和通信节省。

ABSTRACT

Many large-scale machine learning (ML) applications need to perform decentralized learning over datasets generated at different devices and locations. Such datasets pose a significant challenge to decentralized learning because their different contexts result in significant data distribution skew across devices/locations. In this paper, we take a step toward better understanding this challenge by presenting a detailed experimental study of decentralized DNN training on a common type of data skew: skewed distribution of data labels across devices/locations. Our study shows that: (i) skewed data labels are a fundamental and pervasive problem for decentralized learning, causing significant accuracy loss across many ML applications, DNN models, training datasets, and decentralized learning algorithms; (ii) the problem is particularly challenging for DNN models with batch normalization; and (iii) the degree of data skew is a key determinant of the difficulty of the problem. Based on these findings, we present SkewScout, a system-level approach that adapts the communication frequency of decentralized learning algorithms to the (skew-induced) accuracy loss between data partitions. We also show that group normalization can recover much of the accuracy loss of batch normalization.

研究动机与目标

• 评估标签分布偏斜如何影响跨多个模型和数据集的去中心化学习。
• 评估非 IID 数据对三种代表性去中心化学习算法的影响。
• 在非 IID 条件下研究批量归一化与替代方法的作用。
• 提出在偏斜数据情景中在保持准确性的同时降低通信成本的实用解决方案。
• 发布真实世界数据以及一个系统级方法来研究和缓解非 IID 效应。

提出的方法

• 在 CIFAR-10、ImageNet、LeNet/GoogLeNet/ResNet 以及脸部识别设置中，对 IID 和非 IID 标签分区的去中心化学习进行实证研究。
• 评估三种算法：Gaia、FederatedAveraging 和 DeepGradientCompression，以及 BSP 作为基线。
• 在非 IID 条件下表征批量归一化的偏差并测试 Group Normalization 作为替代方案。
• 开发 SkewScout 以估计数据偏斜并通过调整算法超参数以在保持准确性的情况下自适应通信。
• 使用真实世界的 Flickr-Mammal 数据集来说明地理分布数据中的偏斜。
• 提供超参数敏感性分析以展示发现的鲁棒性。

实验结果

研究问题

• RQ1 跨数据分区的标签分布偏斜如何影响去中心化学习中的模型准确性？
• RQ2 在非 IID 标签偏斜下，流行的去中心化算法是否会出现准确性下降，BSP 是否免受影响？
• RQ3 批量归一化在非 IID 条件下是否特别脆弱，替代方法是否能恢复性能？
• RQ4 系统级方法是否能在偏斜数据设置下降低通信成本的同时保持准确性？
• RQ5 面向数据偏斜的自适应通信机制（SkewScout）在维持模型质量方面有多有效？

主要发现

• 标签分区的偏斜在多个数据集、模型和去中心化算法中导致了显著的准确性损失。
• 批量归一化在非 IID 标签偏斜下特别脆弱，即使在 BSP 下也会显著降低验证准确性。
• 偏斜的程度对问题难度有显著影响，偏斜越高，准确性差距越大。
• Group Normalization 在非 IID 设置下可以恢复大量由 BatchNorm 引起的准确性损失，显著提升性能。
• SkewScout 在非 IID 条件下自适应地将通信量降低最多 34.1x（取决于偏斜），同时保持 BSP 级别的准确性。
• 真实世界的 Flickr-Mammal 数据表明非 IID 下的退化不仅是合成的；它也出现在实际的地理分布场景中。