[论文解读] Parallel coordinate descent methods for composite minimization

Ion Necoara, Dragos Clipici|arXiv (Cornell University)|Dec 18, 2013

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一种分布式随机块坐标下降方法，用于最小化由部分可分光滑项和完全可分非光滑项组成的复合凸函数。在块梯度利普希茨连续性条件下，该方法实现了次线性收敛速率；对于一类新的广义误差界函数，建立了线性收敛性，该类函数包括强凸函数和标准误差界函数。

ABSTRACT

In this paper we propose a distributed version of a randomized block-coordinate descent method for minimizing the sum of a partially separable smooth convex function and a fully separable non-smooth convex function. Under the assumption of block Lipschitz continuity of the gradient of the smooth function, this method is shown to have a sublinear convergence rate. Linear convergence rate of the method is obtained for the newly introduced class of generalized error bound functions. We prove that the new class of generalized error bound functions encompasses both global/local error bound functions and smooth strongly convex functions. We also show that the theoretical estimates on the convergence rate depend on the number of blocks chosen randomly and a natural measure of separability of the objective function.

研究动机与目标

• 解决大规模复合凸问题对高效分布式优化方法的需求。
• 开发一种适用于分布式计算环境的随机块坐标下降算法。
• 在弱于强凸性的假设下建立收敛性保证，尤其针对非光滑和部分可分目标函数。
• 引入并分析一类新的广义误差界函数，统一并扩展了现有的收敛性框架。
• 量化块选择策略和函数可分性对收敛速度的影响。

提出的方法

• 采用随机块坐标下降框架，其中变量块在分布式节点间并行更新。
• 集成近端算子以处理目标函数中非光滑且完全可分的部分。
• 利用块级梯度利普希茨连续性推导光滑部分的收敛界。
• 引入广义误差界条件，以刻画解附近目标函数的局部几何结构。
• 设计算法以支持异步和分布式更新，同时保持最低通信开销。
• 采用随机块选择策略以平衡计算负载并加速收敛。

实验结果

研究问题

• RQ1 在不假设强凸性的情况下，分布式块坐标下降方法能否实现复合凸问题的线性收敛？
• RQ2 收敛速率如何依赖于随机选择的块数以及目标函数的可分结构？
• RQ3 哪类函数允许在线性收敛的坐标下降方法中超越强凸函数的范围？
• RQ4 所提出的广义误差界条件与现有误差界和强凸性假设之间有何关系？
• RQ5 在分布式环境中，块选择策略对收敛速度的理论影响是什么？

主要发现

• 在块级梯度利普希茨连续性假设下，所提方法实现了次线性收敛速率。
• 对于一类新的广义误差界函数，建立了线性收敛性，该类函数包括全局和局部误差界函数。
• 广义误差界函数类还包含光滑强凸函数，从而统一了多种收敛情形。
• 理论收敛估计依赖于随机选择的块数以及函数可分性的自然度量。
• 随着块可分性的增强和最优块选择策略的采用，收敛速率得到提升。
• 由于其低通信开销和并行更新结构，该方法具有可扩展性，适用于分布式环境。