[论文解读] Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems

Qiuwei Li, Zhihui Zhu+2 more|arXiv (Cornell University)|Apr 22, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用 19

一句话总结

本文通过使用Bregman散度将Lipschitz光滑性条件推广为相对光滑性条件，提出了一类可证明收敛的基于Bregman散度的优化方法，用于解决非凸、非Lipschitz光滑问题。所提出的算法可保证对任意相对光滑问题收敛至二阶平稳点，包括机器学习中常见的高阶多项式目标函数。

ABSTRACT

The (global) Lipschitz smoothness condition is crucial in establishing the convergence theory for most optimization methods. Unfortunately, most machine learning and signal processing problems are not Lipschitz smooth. This motivates us to generalize the concept of Lipschitz smoothness condition to the relative smoothness condition, which is satisfied by any finite-order polynomial objective function. Further, this work develops new Bregman-divergence based algorithms that are guaranteed to converge to a second-order stationary point for any relatively smooth problem. In addition, the proposed optimization methods cover both the proximal alternating minimization and the proximal alternating linearized minimization when we specialize the Bregman divergence to the Euclidian distance. Therefore, this work not only develops guaranteed optimization methods for non-Lipschitz smooth problems but also solves an open problem of showing the second-order convergence guarantees for these alternating minimization methods.

研究动机与目标

• 为了解决现有优化方法依赖全局Lipschitz光滑性条件的局限性，该条件在许多具有高次多项式目标函数的机器学习问题中不成立。
• 通过使用Bregman散度，将Lipschitz光滑性条件推广为相对光滑性条件，从而实现对非Lipschitz光滑问题的收敛性分析。
• 提出新的基于Bregman散度的优化算法，确保对任意相对光滑问题收敛至二阶平稳点。
• 解决关于近端交替最小化和近端交替线性化最小化方法的二阶收敛性保证的开放问题。

提出的方法

• 通过Bregman散度引入相对光滑性条件，定义为 $ L_f abla^2 h(oldsymbol{x}) riangleq abla^2 f(oldsymbol{x}) riangleq 0 $，其中 $ h $ 为强凸函数。
• 提出一类新的基于Bregman散度的优化算法，利用相对光滑性条件确保每次迭代中目标函数值的充分下降。
• 通过利用相对光滑性条件和Bregman散度生成器 $ h $ 的强凸性，推导出收敛至二阶平稳点的保证。
• 将Bregman散度特化为欧几里得距离，从而恢复近端交替最小化和近端交替线性化最小化作为特例。
• 证明所提出的方法可适用于低秩矩阵恢复、张量分解和神经网络训练等问题，这些问题是非Lipschitz光滑的。
• 使用双凸Bregman散度生成器 $ h(oldsymbol{x}, oldsymbol{y}) $，以处理具有高阶多项式目标函数的非凸、非Lipschitz光滑问题。

实验结果

研究问题

• RQ1 一阶和二阶优化方法的收敛性理论能否超越Lipschitz光滑性条件，推广至非Lipschitz光滑问题？
• RQ2 通过Bregman散度定义的相对光滑性条件能否用于建立非凸问题收敛至二阶平稳点的可证明收敛性？
• RQ3 现有交替最小化方法（如近端交替最小化和近端交替线性化最小化）在相对光滑性条件下是否能实现二阶收敛性保证？
• RQ4 所提出的基于Bregman散度的框架能否处理张量分解和神经网络训练中常见的高阶多项式目标函数？
• RQ5 何种条件可确保Bregman散度生成器 $ h $ 为强凸函数，并支持对非Lipschitz光滑问题的收敛性？

主要发现

• 所提出的基于Bregman散度的算法可保证对任意相对光滑问题收敛至二阶平稳点，即使目标函数为非Lipschitz光滑。
• 相对光滑性条件推广了Lipschitz光滑性条件，且所有有限阶多项式目标函数（包括低秩矩阵恢复和张量分解中的目标函数）均满足该条件。
• 当Bregman散度特化为欧几里得距离时，该方法恢复了近端交替最小化和近端交替线性化最小化，从而解决了其二阶收敛性保证的开放问题。
• 对于具有高阶多项式的张量分解问题，该方法在构造的强双凸Bregman生成器 $ h $ 下建立了 $ (L_1, L_2) $-相对双光滑性，确保收敛性。
• 收敛性在一般相对光滑性条件下得到证明：$ L_f abla^2 h(oldsymbol{x}) riangleq abla^2 f(oldsymbol{x}) riangleq 0 $，该条件对具有多项式目标函数的问题全局成立。
• 该方法在无需假设Hessian矩阵谱范数有界的情况下实现收敛，使其适用于深度学习和信号处理中的非Lipschitz光滑问题。