[论文解读] On Unbounded Delays in Asynchronous Parallel Fixed-Point Algorithms

Robert Hannah, Wotao Yin|arXiv (Cornell University)|Sep 15, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用 5

一句话总结

本文在无界延迟下建立了ARock异步并行定点算法的收敛性，这是对先前工作的重要推广，因为之前的工作要求延迟有界。通过引入自适应步长和新颖的李雅普诺夫函数，该方法实现了在更大、与延迟相关的步长下的实际收敛，从而在大规模优化和机器学习中具有更广泛的应用性，且无需对延迟分布或算子结构施加限制性假设。

ABSTRACT

The need for scalable numerical solutions has motivated the development of asynchronous parallel algorithms, where a set of nodes run in parallel with little or no synchronization, thus computing with delayed information. This paper studies the convergence of the asynchronous parallel algorithm ARock under potentially unbounded delays. ARock is a general asynchronous algorithm that has many applications. It parallelizes fixed-point iterations by letting a set of nodes randomly choose solution coordinates and update them in an asynchronous parallel fashion. ARock takes some recent asynchronous coordinate descent algorithms as special cases and gives rise to new asynchronous operator-splitting algorithms. Existing analysis of ARock assumes the delays to be bounded, and uses this bound to set a step size that is important to both convergence and efficiency. Other work, though allowing unbounded delays, imposes strict conditions on the underlying fixed-point operator, resulting in limited applications. In this paper, convergence is established under unbounded delays, which can be either stochastic or deterministic. The proposed step sizes are more practical and generally larger than those in the existing work. The step size adapts to the delay distribution or the current delay being experienced in the system. New Lyapunov functions, which are the key to analyzing asynchronous algorithms, are generated to obtain our results. A set of applicable optimization algorithms with large-scale applications are given, including machine learning and scientific computing algorithms.

研究动机与目标

• 解决现有异步定点算法在收敛性分析中对有界延迟的依赖问题。
• 实现ARock算法在无界、随机或确定性延迟下的收敛性。
• 开发与延迟分布或当前延迟成比例的实用自适应步长，以提升算法效率。
• 构建能够捕捉无界延迟下异步更新动态的新李雅普诺夫函数。
• 将ARock的适用范围扩展至机器学习和科学计算中的大规模优化问题。

提出的方法

• 本文提出了一种ARock的新收敛性分析框架，通过引入一类新型李雅普诺夫函数，使无界延迟成为可能。
• 推导出自适应步长，其依赖于当前延迟或延迟分布，而非需要全局有界性。
• 将异步更新建模为带有延迟信息的随机坐标迭代，采用随机逼近技术。
• 利用广义的定点迭代框架，以适应任意延迟序列。
• 通过去除对有界延迟的假设，同时保持收敛性保证，推广了先前结果。
• 该方法被用于推导新型异步算子分裂算法，并推广了已知的异步坐标下降方法。

实验结果

研究问题

• RQ1 ARock算法在延迟无界而非如以往工作所要求的有界时，是否仍能收敛？
• RQ2 如何自适应调整步长以应对无界延迟，从而提升收敛速度和实用性？
• RQ3 分析无界延迟下的收敛性需要哪些新型李雅普诺夫函数？
• RQ4 在无界延迟下，定点算子需要满足哪些条件才能保证收敛？
• RQ5 所提出的框架如何用于推导适用于大规模优化的新异步算法？

主要发现

• ARock算法在无界延迟下，无论为随机或确定性延迟，均能收敛，且无需对延迟施加先验有界性。
• 所提出的步长具有自适应性，通常大于以往有界延迟分析中的步长，从而提升了算法效率。
• 构建了新型李雅普诺夫函数，能够捕捉即使在无界延迟下异步更新的能量衰减特性。
• 收敛性分析适用于一大类定点算子，使其在优化和机器学习中具有广泛适用性。
• 该框架导出了新型异步算子分裂算法，并推广了现有的异步坐标下降方法。
• 该方法适用于机器学习和科学计算中的大规模问题，且已验证了实用的步长选择策略。