[论文解读] The Asynchronous PALM Algorithm for Nonsmooth Nonconvex Problems

Damek Davis|arXiv (Cornell University)|Apr 2, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用 25

一句话总结

本文提出异步PALM算法，作为非光滑、非凸优化问题的近端交替线性化最小化（PALM）方法的新扩展。通过在坐标块之间实现无同步的异步并行更新，该算法实现了与计算核心数量成线性关系的加速。其关键理论贡献在于证明了迭代序列的聚点为驻点，并在Kurdyka-Łojasiewicz（KL）性质下实现全局收敛，同时在特定情况下进行了收敛速率分析，实验验证了广义低秩矩阵模型（GLRMs）中的有效性。

ABSTRACT

We introduce the Asynchronous PALM algorithm, a new extension of the Proximal Alternating Linearized Minimization (PALM) algorithm for solving nonsmooth, nonconvex optimization problems. Like the PALM algorithm, each step of the Asynchronous PALM algorithm updates a single block of coordinates; but unlike the PALM algorithm, the Asynchronous PALM algorithm eliminates the need for sequential updates that occur one after the other. Instead, our new algorithm allows each of the coordinate blocks to be updated asynchronously and in any order, which means that any number of computing cores can compute updates in parallel without synchronizing their computations. In practice, this asynchronization strategy often leads to speedups that increase linearly with the number of computing cores. We introduce two variants of the Asynchronous PALM algorithm, one stochastic and one deterministic. In the stochastic extit{and} deterministic cases, we show that cluster points of the algorithm are stationary points. In the deterministic case, we show that the algorithm converges globally whenever the Kurdyka-Łojasiewicz property holds for a function closely related to the objective function, and we derive its convergence rate in a common special case. Finally, we provide a concrete case in which our assumptions hold.

研究动机与目标

• 解决PALM算法在非光滑、非凸问题中顺序更新带来的计算瓶颈。
• 通过解除坐标更新之间的同步约束，实现可扩展的并行优化。
• 为比以往工作更广泛的问题类别，建立异步更新的理论收敛保证。
• 将一阶方法的适用范围扩展至复杂模型，如广义低秩矩阵模型（GLRMs）。
• 在相关函数满足Kurdyka-Łojasiewicz（KL）性质的前提下，建立全局收敛性，确保在非凸设置下的实际收敛性。

提出的方法

• 提出两种变体：异步PALM算法的随机版本与确定性版本。
• 允许每个坐标块独立且异步地使用近端梯度步长进行更新。
• 使用共享全局内存存储更新结果，各计算核心之间无需协调或同步。
• 引入一个递减的李雅普诺夫函数，用于吸收异步更新带来的误差，替代收敛分析中非递减的目标函数。
• 利用非光滑Kurdyka-Łojasiewicz（KL）性质证明收敛性，借鉴原始PALM论文的证明框架。
• 在KL性质下分析收敛速率，特别关注目标函数满足KL条件且指数属于$ (0, 1/2] $的常见特殊情况。

实验结果

研究问题

• RQ1 在非光滑、非凸问题中，PALM算法的异步并行更新是否仍能保持收敛？
• RQ2 当目标函数不一定是递减时，异步更新可建立何种理论保证？
• RQ3 在何种条件下，异步PALM算法能全局收敛至驻点？
• RQ4 该算法在实际大规模问题（如矩阵分解和GLRMs）中的表现如何？
• RQ5 Kurdyka-Łojasiewicz（KL）性质与半代数性在异步设置下在多大程度上能确保收敛？

主要发现

• 异步PALM迭代序列的聚点在随机与确定性两种变体下均为驻点。
• 在确定性情况下，只要与目标函数密切相关的一个函数满足Kurdyka-Łojasiewicz（KL）性质，该算法即全局收敛至驻点。
• 在KL指数属于$ (0, 1/2] $的常见特殊情况下，建立了$ O(1/k) $的收敛速率。
• 由于异步性及无同步机制，该算法实现了与计算核心数量成线性关系的加速。
• 收敛理论的假设在具体问题中得以满足，如广义低秩矩阵模型（GLRMs），包括矩阵分解与PCA变体。
• GLRM框架提供了一类丰富的问题集合，其中算法假设——强制性、半代数性以及$ \nabla f $的Lipschitz连续性——均被满足，从而验证了其实际相关性。