[论文解读] Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free

Mingrui Zhang, Lin Chen+3 more|arXiv (Cornell University)|Feb 17, 2019

Stochastic Gradient Optimization Techniques参考文献 31被引用 11

一句话总结

本文提出量化弗兰克-沃尔夫（QFW），一种在分布式设置下用于约束优化的通信高效、无投影算法。通过引入新颖的量化方案，在控制噪声的同时压缩梯度，QFW 在收敛速度和通信成本方面均优于基线方法，且对凸与非凸问题均提供了理论保证。

ABSTRACT

How can we efficiently mitigate the overhead of gradient communications in distributed optimization? This problem is at the heart of training scalable machine learning models and has been mainly studied in the unconstrained setting. In this paper, we propose Quantized-Frank-Wolfe (QFW), the first projection-free and communication-efficient algorithm for solving constrained optimization problems at scale. We consider both convex and non-convex objective functions, expressed as a finite-sum or more generally a stochastic optimization problem, and provide strong theoretical guarantees on the convergence rate of QFW. This is accomplished by proposing novel quantization schemes that efficiently compress gradients while controlling the noise variance introduced during this process. Finally, we empirically validate the efficiency of QFW in terms of communication and the quality of returned solution against natural baselines.

研究动机与目标

• 解决分布式约束优化中梯度传输带来的高通信成本问题。
• 设计一种无投影方法，在量化条件下仍保持收敛性保证。
• 在降低通信开销的前提下，实现大规模机器学习模型在约束条件下的高效训练。
• 为凸与非凸有限和及随机优化问题提供理论收敛速率。
• 设计量化方案，在压缩梯度至低比特预算的同时最小化噪声方差。

提出的方法

• 提出一种分布式弗兰克-沃尔夫框架，其中工作节点计算本地梯度，并将量化后的版本传输至主节点。
• 引入两种量化方案：符号编码（s=1）和广义方案（s≥1），将每个分量的梯度通信量减少至 log₂(s+1) 比特。
• 使用方差减少的梯度估计器（VR）校正全局梯度估计中由量化引入的噪声。
• 采用参数服务器架构，主节点聚合量化后的梯度，并通过线性最小化预言机计算弗兰克-沃尔夫更新。
• 在随机设置中集成带量化的随机梯度近似，确保噪声方差有界。
• 通过分析真实梯度与量化梯度之间的误差，推导出收敛速率的理论界，表明光滑目标函数下收敛速率为 O(1/√T)。

实验结果

研究问题

• RQ1 我们能否设计一种在量化条件下仍保持收敛性保证的通信高效、无投影约束优化算法？
• RQ2 量化噪声如何影响分布式环境下弗兰克-沃尔夫的收敛性？能否有效界定其影响？
• RQ3 何种量化方案能在凸与非凸问题中最小化通信成本，同时保持解的质量？
• RQ4 QFW 与非量化弗兰克-沃尔夫及其他通信高效基线方法相比，在最优性间隙与通信成本方面表现如何？
• RQ5 在量化条件下，所提方法的 IFO（增量一阶预言机）复杂度是多少？

主要发现

• QFW 在凸与非凸问题中均实现 O(1/√T) 的收敛速率，与非量化弗兰克-沃尔夫的最佳已知速率一致。
• 采用符号编码方案（s=1）时，QFW 在通信成本与最优性间隙之间实现了最佳权衡，优于全精度 FW 及其他量化级别。
• QFW 的总 IFO 复杂度为 O(√n/ε²)，其中 n 为每个工作节点的分量函数数量，表明预言机使用高效。
• 每轮的平均通信成本为 d(Mz₁ + z₂) + (M+1)(d+32) 比特，其中 z₁ 与 z₂ 取决于问题参数与期望精度。
• 在 MNIST、CIFAR-10 和合成多任务回归上的实验结果表明，当 s=1 时，QFW 在最低通信成本下实现了最小的最优性间隙。
• 对于 ε>0，算法在 T = O(1/ε²) 次迭代内可实现 E[G(xₒ)] ≤ ε，确认了在迭代次数上的最优复杂度。