[论文解读] On Consensus-Optimality Trade-offs in Collaborative Deep Learning

Zhanhong Jiang, Aditya Balu+2 more|arXiv (Cornell University)|May 30, 2018

Distributed Control Multi-Agent Systems参考文献 23被引用 5

一句话总结

本文提出 i-CDSGD 和 g-CDSGD 两种新型算法，用于在通信受限的分布式系统中显式平衡共识与最优性，实现协作式深度学习。通过引入多个共识步骤或可调的共识参数，该方法在保持最先进准确率的同时，实现更快的收敛速度、更小的性能波动以及更优的共识表现，尤其在数据不平衡情况下表现突出。

ABSTRACT

In distributed machine learning, where agents collaboratively learn from diverse private data sets, there is a fundamental tension between consensus and optimality. In this paper, we build on recent algorithmic progresses in distributed deep learning to explore various consensus-optimality trade-offs over a fixed communication topology. First, we propose the incremental consensus-based distributed SGD (i-CDSGD) algorithm, which involves multiple consensus steps (where each agent communicates information with its neighbors) within each SGD iteration. Second, we propose the generalized consensus-based distributed SGD (g-CDSGD) algorithm that enables us to navigate the full spectrum from complete consensus (all agents agree) to complete disagreement (each agent converges to individual model parameters). We analytically establish convergence of the proposed algorithms for strongly convex and nonconvex objective functions; we also analyze the momentum variants of the algorithms for the strongly convex case. We support our algorithms via numerical experiments, and demonstrate significant improvements over existing methods for collaborative deep learning.

研究动机与目标

• 解决在通信受限条件下，分布式深度学习中共识（各智能体间的一致性）与最优性（收敛至全局最优）之间的根本性权衡问题。
• 克服现有方法（如 FedAvg 和 CDSGD）的局限性，这些方法或牺牲共识，或面临高波动性和泛化误差问题。
• 设计可调节共识-最优性权衡的算法，尤其在数据不平衡场景下表现更优。
• 理论上建立强凸与非凸目标函数下的收敛性，包括带动量的变体。
• 通过实证结果表明，所提方法在共识性、稳定性和泛化能力方面优于当前最先进技术，尤其在数据不平衡条件下表现更优。

提出的方法

• 提出 i-CDSGD，即在每个 SGD 迭代中执行多次共识步骤（通过与邻居通信）以增强智能体间的一致性。
• 提出 g-CDSGD，一种广义框架，利用可调参数 ω 控制共识与个体最优性之间的平衡。
• 将动量机制集成到两种算法中，以加速收敛并减少性能振荡。
• 理论分析证明，两种算法在强凸与非凸目标函数下均具有收敛性，且对共识与最优性给出了明确的界。
• 采用双重随机通信矩阵与固定网络拓扑来建模智能体间交互，确保理论可处理性。
• 使用 Keras/TensorFlow 实现算法，并在 CIFAR-10 数据集上，基于 5 个智能体的稀疏网络结构，在数据平衡与不平衡划分下进行评估。

实验结果

研究问题

• RQ1 在每个 SGD 迭代中引入多个共识步骤，是否能在不损害模型最优性的情况下提升共识性？
• RQ2 在 g-CDSGD 中，可调共识参数 ω 如何影响分布式深度学习中共识与最优性之间的权衡？
• RQ3 与 FedAvg 和 CDSGD 相比，所提算法在多大程度上减少了性能波动与泛化误差？
• RQ4 数据不平衡如何影响智能体间的共识？所提方法能否有效缓解此问题？
• RQ5 动量增强的 i-CDSGD 与 g-CDSGD 在凸与非凸损失函数下的收敛行为如何？

主要发现

• i-CDSGD 在全局准确率上与 CDSGD 相当，但各训练轮次间的性能波动显著降低。
• g-CDSGD 在测试准确率上与最先进方法相当，但泛化差距（训练与测试准确率之差）更小。
• 在数据不平衡情况下，i-CDSGD 与 g-CDSGD 在共识性方面均优于 CDSGD，最佳与最差智能体之间的准确率差异最高减少 50%。
• g-CDSGD 中较低的 ω 值可进一步提升共识性，但以收敛速度减慢为代价，体现了可调的权衡机制。
• 两种算法的动量变体（i-CDSGD 与 g-CDSGD）表现出稳定收敛且振荡极小，优于非动量基线方法。
• 实证结果验证了理论收敛界，共识与最优性边界的缩放行为可预测，与步长 α 和谱隙 (1−λ₂) 保持一致。