[论文解读] SMART: The Stochastic Monotone Aggregated Root-Finding Algorithm

Damek Davis|arXiv (Cornell University)|Jan 4, 2016

Stochastic Gradient Optimization Techniques参考文献 41被引用 9

一句话总结

SMART 是一种新颖的随机、异步、随机化算子分裂算法，用于求解涉及算子有限和的大规模单调根求解问题。在弱正则性条件下，该算法在期望意义下实现线性收敛，并通过用黑箱算子替代梯度，推广了增量梯度方法，从而扩大了适用范围，并在分布式系统中实现了高效的并行化。

ABSTRACT

We introduce the Stochastic Monotone Aggregated Root-Finding (SMART) algorithm, a new randomized operator-splitting scheme for finding roots of finite sums of operators. These algorithms are similar to the growing class of incremental aggregated gradient algorithms, which minimize finite sums of functions; the difference is that we replace gradients of functions with black-boxes called operators, which represent subproblems to be solved during the algorithm. By replacing gradients with operators, we increase our modeling power, and we simplify the application and analysis of the resulting algorithms. The operator point of view also makes it easy to extend our algorithms to allow arbitrary sampling and updating of blocks of coordinates throughout the algorithm. Implementing and running an algorithm like this on a computing cluster can be slow if we force all computing nodes to be synched up at all times. To take better advantage of parallelism, we allow computing nodes to delay updates and break synchronization. This paper has several technical and practical contributions. We prove the weak, almost sure convergence of a new class of randomized operator-splitting schemes in separable Hilbert spaces; we prove that this class of algorithms convergences linearly in expectation when a weak regularity property holds; we highlight connections to other algorithms; and we introduce a few new algorithms for large-scale optimization.

研究动机与目标

• 开发一类新型随机化算子分裂算法，用于求解有限和单调根求解问题。
• 通过用算子替代梯度，实现在大规模和高维设置下的高效可扩展优化。
• 通过允许计算节点间延迟和非同步更新，支持异步和去中心化计算。
• 在可分希尔伯特空间中，为所提出的算法建立理论收敛保证——弱收敛和几乎必然收敛。
• 通过将子问题建模为算子，将增量方法的适用范围从凸优化扩展至更广领域。

提出的方法

• 该算法用表示子问题的黑箱算子替代梯度计算，从而构建更灵活和模块化的框架。
• 采用随机化块坐标更新策略，每次迭代中随机采样索引。
• 该方法采用聚合更新规则，结合过去和当前的算子评估结果，以稳定收敛过程。
• 一个关键组件是算子的相干性条件，确保期望更新方向与真实根求解方向一致。
• 算法支持对坐标块的任意采样和更新，增强了在分布式和异步环境中的灵活性。
• 收敛性分析利用迭代期望定律和方差分解，推导出在弱正则性假设下的线性收敛速率。

实验结果

研究问题

• RQ1 随机化算子分裂方案是否能在有限和算子的单调根求解问题中实现期望意义下的线性收敛？
• RQ2 如何在不牺牲收敛性的前提下，将异步和延迟更新整合到算子分裂算法中？
• RQ3 算子需满足何种条件，才能确保即使在随机和异步更新下，算法仍能线性收敛？
• RQ4 算子框架如何推广并统一现有的增量梯度方法（如 SAGA、SVRG 和 Finito）？
• RQ5 一阶算法实现线性收敛的最弱正则性条件是什么？SMART 与该条件有何关系？

主要发现

• 在满足相干性条件的前提下，SMART 在可分希尔伯特空间中实现了迭代序列的弱收敛和几乎必然收敛。
• 在一种弱正则性性质——称为本质强拟单调性——下，算法在期望意义下实现线性收敛。
• 收敛速率是线性的，因子为 $ 1 - \xi $，其中 $ \xi $ 取决于算法参数和问题结构。
• 该算法支持任意采样和异步更新，从而能够高效利用并行和分布式计算资源。
• 通过用算子替代梯度，该框架推广了增量梯度方法，扩大了其在非光滑和非凸问题中的适用范围。
• 数值实验预计在异步环境下表现出线性加速，尽管实现复杂度仍是挑战。