[论文解读] Randomized Bregman Coordinate Descent Methods for Non-Lipschitz Optimization

Tianxiang Gao, Songtao Lu+2 more|arXiv (Cornell University)|Jan 15, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 9

一句话总结

本文提出了一种随机Bregman坐标下降（RBCD）方法，用于处理非Lipschitz复合优化问题，通过Bregman距离将全局Lipschitz连续梯度假设替换为相对光滑性条件。该方法在非凸问题中实现了𝒪(nε⁻²)的迭代复杂度，在凸问题中实现了𝒪(nε⁻¹)的复杂度，并通过一种新颖的动量方案实现了加速复杂度𝒪(nε⁻¹/γ)。

ABSTRACT

We propose a new extit{randomized Bregman (block) coordinate descent} (RBCD) method for minimizing a composite problem, where the objective function could be either convex or nonconvex, and the smooth part are freed from the global Lipschitz-continuous (partial) gradient assumption. Under the notion of relative smoothness based on the Bregman distance, we prove that every limit point of the generated sequence is a stationary point. Further, we show that the iteration complexity of the proposed method is $O(n\varepsilon^{-2})$ to achieve $ε$-stationary point, where $n$ is the number of blocks of coordinates. If the objective is assumed to be convex, the iteration complexity is improved to $O(nε^{-1} )$. If, in addition, the objective is strongly convex (relative to the reference function), the global linear convergence rate is recovered. We also present the accelerated version of the RBCD method, which attains an $O(n\varepsilon^{-1/γ} )$ iteration complexity for the convex case, where the scalar $γ\in [1,2]$ is determined by the extit{generalized translation variant} of the Bregman distance. Convergence analysis without assuming the global Lipschitz-continuous (partial) gradient sets our results apart from the existing works in the composite problems.

研究动机与目标

• 解决现有坐标下降方法对全局Lipschitz连续梯度的依赖问题，该假设在许多实际问题（如矩阵/张量补全和Poisson模型）中具有限制性。
• 将Bregman距离框架扩展至随机块坐标下降，适用于凸与非凸复合问题。
• 在不假设（部分）梯度全局Lipschitz连续性的前提下，建立收敛性保证，转而利用相对光滑性条件。
• 设计一种加速版RBCD，通过参数γ ∈ [1,2]实现凸问题的更优迭代复杂度。

提出的方法

• 提出一种随机Bregman（块）坐标下降（RBCD）方法，通过随机选择规则每次更新一个变量块。
• 用基于Bregman距离的近端更新替代标准梯度下降，实现在相对光滑性条件下的收敛，而非依赖全局Lipschitz连续性。
• 引入一种基于动量的加速方案，采用包含辅助变量yᵏ、xᵏ和zᵏ的三点递归更新，其中参数βₖ控制动量大小。
• 采用无线搜索策略，利用Bregman距离量化下降量，避免回溯或精确线搜索带来的计算开销。
• 通过结合目标函数值与Bregman距离项的李雅普诺夫函数推导收敛速率，在相对光滑性条件下证明其单调递减。
• 使用Bregman距离的广义平移变体来定义相对光滑性条件，从而在加速情形下获得更紧致的复杂度界。

实验结果

研究问题

• RQ1 在不假设全局Lipschitz连续梯度的前提下，随机Bregman坐标下降能否收敛至驻点？
• RQ2 在相对光滑性条件下，RBCD在非凸与凸复合问题中的迭代复杂度是多少？
• RQ3 能否设计一种RBCD的加速版本，使凸问题的收敛速率超越标准𝒪(nε⁻¹)？
• RQ4 Bregman距离的广义平移变体如何影响加速RBCD方法的收敛速率？
• RQ5 所提出的方法能否应用于梯度非全局Lipschitz的实用问题，如矩阵分解与张量分解？

主要发现

• 在不假设全局Lipschitz梯度的条件下，RBCD迭代序列的任意极限点均为驻点。
• 在非凸情况下，达到ε-驻点的迭代复杂度为𝒪(nε⁻²)，与Lipschitz假设下的最优已知率一致。
• 在凸问题中，迭代复杂度提升至𝒪(nε⁻¹)，与标准假设下随机CD的最优已知率一致。
• 在相对于参考函数的相对强凸性条件下，该方法实现全局线性收敛，恢复了该设定下的最优已知收敛率。
• 加速版RBCD在凸问题中实现了𝒪(nε⁻¹/γ)的迭代复杂度，其中γ ∈ [1,2]由Bregman距离的广义平移变体决定。
• 收敛性分析适用于凸与非凸目标函数，且通过块可分结构，该方法可应用于含非光滑正则项的问题。