[论文解读] Taming the Wild: A Unified Analysis of Hogwild!-Style Algorithms

Christopher De, Ce Zhang+2 more|arXiv (Cornell University)|Jun 22, 2015

Data Management and Algorithms参考文献 13被引用 76

一句话总结

本文提出了一种基于鞅的统一分析方法，用于Hogwild!风格的异步随机梯度下降（SGD）算法，在更宽松的假设下实现了收敛速率保证。该文引入了Buckwild!，一种使用低精度算术的异步SGD变体，并建立了凸问题与非凸问题的理论收敛性，实验结果表明其速度最高可达Hogwild!的2.3倍。

ABSTRACT

Stochastic gradient descent (SGD) is a ubiquitous algorithm for a variety of machine learning problems. Researchers and industry have developed several techniques to optimize SGD's runtime performance, including asynchronous execution and reduced precision. Our main result is a martingale-based analysis that enables us to capture the rich noise models that may arise from such techniques. Specifically, we use our new analysis in three ways: (1) we derive convergence rates for the convex case (Hogwild!) with relaxed assumptions on the sparsity of the problem; (2) we analyze asynchronous SGD algorithms for non-convex matrix problems including matrix completion; and (3) we design and analyze an asynchronous SGD algorithm, called Buckwild!, that uses lower-precision arithmetic. We show experimentally that our algorithms run efficiently for a variety of problems on modern hardware.

研究动机与目标

• 为解决缺乏统一理论框架来分析具有不同噪声源（如异步性、低精度算术和随机采样）的异步SGD变体的问题。
• 在保持收敛性保证的前提下，放宽Hogwild!在凸问题中的严格稀疏性假设。
• 首次推导出异步SGD在非凸矩阵补全问题中的收敛速率。
• 设计并分析Buckwild!，一种使用低精度算术的异步SGD算法，并通过实验验证其效率。

提出的方法

• 开发了一种基于鞅的收敛性分析方法，将多种误差源——随机采样、延迟更新和量化——统一建模为一个噪声过程。
• 利用上鞅技术来界定期望平方距离到最优解的上界，通过更新延迟的尾概率来引入延迟的影响。
• 应用柯西-施瓦茨不等式和矩界来控制延迟梯度和量化噪声对收敛性的影响。
• 通过分析在各种噪声模型下期望平方距离到最优解的衰减过程，推导出收敛速率。
• 提出了一种步长规则，以平衡下降速度与噪声放大效应，确保收敛至最优解的ϵ-邻域。
• 通过在逻辑回归和矩阵补全问题上的实验，验证了理论框架的有效性，将Buckwild!与Hogwild!在现代硬件上进行了对比。

实验结果

研究问题

• RQ1 能否建立一个统一的理论框架，统一分析具有不同噪声源的异步SGD变体？
• RQ2 如何将Hogwild!的收敛性保证扩展到凸优化中更宽松的稀疏性假设？
• RQ3 异步SGD在非凸矩阵补全问题中的收敛特性是什么？
• RQ4 低精度算术能否在异步SGD中得到严格分析？可实现多大的性能提升？
• RQ5 所提出的算法Buckwild!是否在理论收敛性与实际速度提升方面均优于Hogwild!？

主要发现

• 本文在放宽稀疏性假设的条件下，推导出凸Hogwild!的收敛速率，在更严格条件下可恢复先前结果。
• 首次建立了异步SGD在非凸矩阵补全问题中的收敛速率，将近期同步结果推广至异步设置。
• 对于低精度算术，分析表明量化噪声可被有效界控并加以控制，从而实现理论收敛性保证。
• 所提出的Buckwild!算法在现代硬件上的逻辑回归实验中，速度最高可达Hogwild!的2.3倍。
• 统一的鞅分析框架成功地在一个单一分析模型中捕捉了多种噪声源——随机性、异步性和量化——的影响。
• Buckwild!的理论收敛速率通过依赖于问题参数和延迟分布的步长规则推导得出，确保收敛至最优解的ϵ-邻域。