[论文解读] Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities

Aleksandr Beznosikov, Takáč, Martin+1 more|arXiv (Cornell University)|Feb 15, 2023

Contact Mechanics and Variational Inequalities被引用 5

一句话总结

本文提出了一种新颖的分布式变分不等式算法，统一了相似性、压缩和局部更新——三种用于降低通信开销的关键技术。通过协同结合这三项支柱，该方法在理论和实践中均实现了最优通信复杂度和更优的收敛速率，其有效性已在合成数据集和真实数据集的对抗性学习实验中得到验证。

ABSTRACT

Variational inequalities are a broad and flexible class of problems that includes minimization, saddle point, and fixed point problems as special cases. Therefore, variational inequalities are used in various applications ranging from equilibrium search to adversarial learning. With the increasing size of data and models, today's instances demand parallel and distributed computing for real-world machine learning problems, most of which can be represented as variational inequalities. Meanwhile, most distributed approaches have a significant bottleneck - the cost of communications. The three main techniques to reduce the total number of communication rounds and the cost of one such round are the similarity of local functions, compression of transmitted information, and local updates. In this paper, we combine all these approaches. Such a triple synergy did not exist before for variational inequalities and saddle problems, nor even for minimization problems. The methods presented in this paper have the best theoretical guarantees of communication complexity and are significantly ahead of other methods for distributed variational inequalities. The theoretical results are confirmed by adversarial learning experiments on synthetic and real datasets.

研究动机与目标

• 解决分布式机器学习中变分不等式问题的通信瓶颈，该类问题广泛涵盖最小化问题、鞍点问题和不动点问题。
• 克服现有方法仅应用其中一到两种关键技术（相似性、压缩和局部更新）的局限性。
• 设计一个理论基础坚实的算法，将相似性、压缩和局部步骤三大支柱整合进统一的分布式变分不等式框架中。
• 实现分布式变分不等式和鞍点问题的最优理论通信复杂度。
• 通过在合成数据集和真实世界数据集上的对抗性学习实验，对方法进行实证验证。

提出的方法

• 利用设备间数据的相似性，假设局部函数近似相等，从而实现更高效的通信与更新策略。
• 应用压缩技术，在不牺牲收敛质量的前提下减小每轮通信的信息传输量。
• 引入局部步骤，通过在同步前执行多次本地更新，减少总通信轮次。
• 设计一种新型算法（算法1和算法2），结合动量、自适应步长和使用控制变量机制的方差减少。
• 采用混合更新规则，维护两条序列：一条为主迭代序列，另一条为基于动量的辅助迭代序列，以提升收敛稳定性。
• 提出一种步长选择规则，平衡收敛速度与稳定性，显式依赖于问题的条件数、压缩误差和局部函数相似性。

实验结果

研究问题

• RQ1 能否将三种主要通信压缩技术——相似性、压缩和局部步骤——有效整合进一个用于分布式变分不等式的统一算法？
• RQ2 三者协同作用是否能带来相比现有方法更优的理论通信复杂度？
• RQ3 所提方法在实践中是否能实现更快的收敛速度，特别是在对抗性学习场景中？
• RQ4 压缩、局部更新与函数相似性之间的相互作用如何影响收敛保证与通信效率？
• RQ5 在变分不等式标准假设下，所提方法的理论收敛速率是否达到最优？

主要发现

• 所提算法实现了 $\mathcal{O}\left(\frac{L}{\mu} \log \frac{1}{\varepsilon}\right)$ 的通信复杂度，与最优额外梯度方法的已知最佳速率一致，同时集成了压缩和局部步骤。
• 在合成数据集和真实数据集的对抗性学习实验中，该方法表现出更优的收敛行为，显著优于现有基线方法。
• 理论分析表明，其收敛速率为线性，收敛因子为 $\left(1 - \frac{\gamma\mu}{2}\right)^K$，其中 $\gamma$ 为步长，$\mu$ 为强单调性参数。
• 该算法在压缩和函数相似性假设下仍能保持收敛性，且对误差传播具有显式上界。
• 与标准额外梯度或局部SGD方法相比，动量机制与自适应步长选择显著提升了稳定性与收敛速度。
• 在标准假设下建立了理论保证：Lipschitz连续性、强单调性以及有界压缩误差，且显式依赖于 $\delta$（函数相似性）和 $\gamma$（步长）。”