[论文解读] Quantized Frank-Wolfe: Communication-Efficient Distributed Optimization.

Mingrui Zhang, Lin Chen+3 more|arXiv (Cornell University)|Feb 17, 2019

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出量化Frank-Wolfe（QFW），一种在分布式机器学习中用于大规模约束优化的通信高效、无投影算法。通过将量化与Frank-Wolfe框架结合，QFW在保持凸与非凸问题强收敛保证的同时，显著降低了梯度通信开销。

ABSTRACT

How can we efficiently mitigate the overhead of gradient communications in distributed optimization? This problem is at the heart of training scalable machine learning models and has been mainly studied in the unconstrained setting. In this paper, we propose Quantized Frank-Wolfe (QFW), the first projection-free and communication-efficient algorithm for solving constrained optimization problems at scale. We consider both convex and non-convex objective functions, expressed as a finite-sum or more generally a stochastic optimization problem, and provide strong theoretical guarantees on the convergence rate of QFW. This is done by proposing quantization schemes that efficiently compress gradients while controlling the variance introduced during this process. Finally, we empirically validate the efficiency of QFW in terms of communication and the quality of returned solution against natural baselines.

研究动机与目标

• 解决分布式机器学习中高通信开销的挑战，特别是在约束优化设置下。
• 将此前仅限于无约束问题的通信高效优化技术，以理论严谨的方式扩展至约束问题。
• 设计一种梯度压缩方案，在不显著增加方差的情况下实现高效通信。
• 为QFW在凸与非凸有限和及随机优化设置下提供收敛速率保证。
• 通过实证结果表明，QFW在通信成本显著降低的同时，仍能获得与基线方法相当的解质量。

提出的方法

• 提出一种专为Frank-Wolfe更新方向设计的新型量化机制，实现在保持收敛性质的同时实现梯度压缩。
• 将量化集成到Frank-Wolfe框架中，避免投影步骤，保持算法无投影的特性。
• 通过自适应缩放和误差反馈机制控制量化引入的方差。
• 设计QFW的随机变体，以处理具有有限和目标的一般随机优化问题。
• 采用线搜索或回溯策略，确保每次迭代中目标函数均有足够下降。
• 通过在量化噪声下有界期望次优间隙，确保理论收敛性。

实验结果

研究问题

• RQ1 量化能否有效集成到Frank-Wolfe算法中，以在分布式约束优化中降低通信成本？
• RQ2 何种量化策略可在压缩存在的情况下最小化方差，同时实现强收敛保证？
• RQ3 在凸与非凸设置下，QFW与现有基线方法相比，在通信效率和解质量方面表现如何？
• RQ4 QFW能否在量化与分布式设置下维持与全精度Frank-Wolfe相当的收敛速率？
• RQ5 在有限和与随机优化公式下，QFW的收敛性可建立何种理论界？

主要发现

• 在量化梯度下，QFW对凸与非凸问题均实现了强理论收敛速率，其收敛行为与全精度Frank-Wolfe一致。
• 所提出的量化方案有效控制了方差，即使在低比特梯度表示下也能实现稳定优化。
• 实证结果表明，QFW相比基线方法显著减少了通信量，同时保持了相当的解质量。
• 在通信效率与收敛速度方面，QFW优于标准量化梯度下降及其他通信高效基线方法。
• 该算法保持了无投影特性，避免了其他约束优化方法中常见的昂贵投影运算。
• 理论分析证实，QFW在非凸设置下收敛至驻点，并在量化条件下于凸设置下实现次线性收敛。