[论文解读] Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets.

Sai Aparna Aketi, Amandeep Singh+1 more|arXiv (Cornell University)|Feb 10, 2021

Privacy-Preserving Technologies in Data参考文献 14被引用 4

一句话总结

该论文提出了稀疏推送（Sparse-Push, SP）和偏斜补偿稀疏推送（Skew-Compensated Sparse Push, SCSP），这两种通信与能耗高效的去中心化训练算法，适用于具有非独立同分布（non-IID）数据的有向、时变对等图。在CIFAR-10上训练ResNet-20和VGG11时，该方法实现了高达466倍的通信量减少，仅造成1%的精度下降；同时，SCSP在非I.I.D.数据下能恢复压缩带来的性能损失。

ABSTRACT

Current deep learning (DL) systems rely on a centralized computing paradigm which limits the amount of available training data, increases system latency, and adds privacy and security constraints. On-device learning, enabled by decentralized and distributed training of DL models over peer-to-peer wirelessly connected edge devices, not only alleviate the above limitations but also enable next-gen applications that need DL models to continuously interact and learn from their environment. However, this necessitates the development of novel training algorithms that train DL models over time-varying and directed peer-to-peer graph structures while minimizing the amount of communication between the devices and also being resilient to non-IID data distributions. In this work we propose, Sparse-Push, a communication efficient decentralized distributed training algorithm that supports training over peer-to-peer, directed, and time-varying graph topologies. The proposed algorithm enables 466x reduction in communication with only 1% degradation in performance when training various DL models such as ResNet-20 and VGG11 over the CIFAR-10 dataset. Further, we demonstrate how communication compression can lead to significant performance degradation in-case of non-IID datasets, and propose Skew-Compensated Sparse Push algorithm that recovers this performance drop while maintaining similar levels of communication compression.

研究动机与目标

• 解决集中式深度学习在边缘AI应用中面临的高通信成本、延迟和隐私风险等局限性。
• 开发一种对边缘设备上非独立同分布数据分布具有鲁棒性的去中心化训练算法。
• 最小化在时变、有向对等图上的去中心化训练中的通信与能耗。
• 克服在非I.I.D.环境下通信压缩导致的性能下降问题。
• 通过降低每个设备的内存与计算负载，实现对资源受限设备（如智能手机和无人机）的本地训练。

提出的方法

• 提出稀疏推送（SP），一种基于有向时变图上顶部K稀疏化与基于推送求和的平均算法的通信高效去中心化优化算法。
• 引入偏斜补偿稀疏推送（SCSP），通过动态调整稀疏化权重来抵消非I.I.D.数据下压缩带来的性能下降。
• 利用推送求和协议，在连接不对称且不一定是双随机的有向图中维持共识。
• 应用顶部K稀疏化技术，仅传输梯度或模型更新中绝对值最大的部分，以减少通信量。
• 采用去中心化训练框架，使每个节点能够自主控制其通信调度与邻居关系，无需全局网络拓扑知识。
• 设计算法以适应时变连接性，并在未来的扩展中支持异步更新。

实验结果

研究问题

• RQ1 去中心化训练算法是否能在有向、时变对等图中实现高模型精度，同时大幅减少通信量？
• RQ2 在去中心化学习中，通信压缩对非I.I.D.数据分布下的模型性能有何影响？
• RQ3 能否在不牺牲通信效率的前提下，恢复非I.I.D.数据下压缩导致的性能下降？
• RQ4 去中心化训练中通信与能耗成本可降低到何种程度，适用于边缘设备？
• RQ5 所提出的算法在更大模型与数据集（如CIFAR-100）上的可扩展性如何？

主要发现

• 在CIFAR-10上训练ResNet-20和VGG11时，Sparse-Push实现了高达466倍的通信量减少，精度仅下降1%。
• 在CIFAR-100上使用ResNet-110时，SCSP实现了438倍的通信量减少，且相比基线压缩方法精度提升了1.62%。
• 通信压缩在非I.I.D.数据下导致显著性能下降，例如在VGG11上，0.1%稀疏化时精度从92.09%降至88.81%。
• SCSP成功恢复了性能损失，在0.1%稀疏化下VGG11的精度达到89.99%，高于基线压缩的88.81%。
• 在16台设备上进行分布式训练，将ResNet-20在CIFAR-10上的单设备内存使用从243MB降至20.3MB，计算量从5.24GFlops降至0.33GFlops。
• SCSP算法在保持高达467倍通信压缩的同时，确保模型精度与全通信基线相比偏差在1%以内。