[论文解读] Primal-Dual Optimization Algorithms over Riemannian Manifolds: an Iteration Complexity Analysis

Junyu Zhang, Shiqian Ma+1 more|arXiv (Cornell University)|Oct 5, 2017

Sparse and Compressive Sensing Techniques参考文献 57被引用 13

一句话总结

本文提出了一种针对具有耦合线性约束的黎曼流形上非凸、非光滑多块问题的原始-对偶优化算法，通过线性化邻近映射和类似ADMM的更新策略实现。该算法建立了达到ε-平稳解的O(1/ε²)迭代复杂度界，并进一步扩展至随机和曲线线搜索变体，以应对大规模或无法解析求解的子问题。

ABSTRACT

In this paper we study nonconvex and nonsmooth multi-block optimization over Riemannian manifolds with coupled linear constraints. Such optimization problems naturally arise from machine learning, statistical learning, compressive sensing, image processing, and tensor PCA, among others. We develop an ADMM-like primal-dual approach based on decoupled solvable subroutines such as linearized proximal mappings. First, we introduce the optimality conditions for the afore-mentioned optimization models. Then, the notion of $ε$-stationary solutions is introduced as a result. The main part of the paper is to show that the proposed algorithms enjoy an iteration complexity of $O(1/ε^2)$ to reach an $ε$-stationary solution. For prohibitively large-size tensor or machine learning models, we present a sampling-based stochastic algorithm with the same iteration complexity bound in expectation. In case the subproblems are not analytically solvable, a feasible curvilinear line-search variant of the algorithm based on retraction operators is proposed. Finally, we show specifically how the algorithms can be implemented to solve a variety of practical problems such as the NP-hard maximum bisection problem, the $\ell_q$ regularized sparse tensor principal component analysis and the community detection problem. Our preliminary numerical results show great potentials of the proposed methods.

研究动机与目标

• 填补非凸、非光滑优化在具有耦合约束的黎曼流形上迭代复杂度分析的空白。
• 开发一种可扩展的算法框架，适用于机器学习、张量分析和信号处理中的大规模问题。
• 在一般非凸和非光滑设置下，提供收敛至ε-平稳解的理论保证。
• 将框架扩展至随机和曲线线搜索变体，以应对难以求解的子问题或高维模型。
• 通过在张量PCA、最大割分划和社区检测问题上的实现，展示其实际适用性。

提出的方法

• 将问题建模为具有光滑、非凸目标函数、非光滑正则化项和流形约束的多块优化问题。
• 提出一种类似ADMM的原始-对偶算法，通过线性化邻近映射实现解耦且可解析求解的子问题。
• 基于黎曼流形上的Karush-Kuhn-Tucker系统推导出的最优性条件，定义ε-平稳性。
• 利用李雅普诺夫分析和梯度利普希茨连续性，建立收敛至ε-平稳解的O(1/ε²)迭代复杂度。
• 提出一种随机变体，在大规模模型且函数评估代价高昂时，保持相同的复杂度界（期望意义下）。
• 提出一种曲线线搜索变体，当子问题缺乏闭式解时，利用重投影算子进行求解。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶算法，实现具有线性耦合约束的非凸、非光滑黎曼流形优化问题的O(1/ε²)迭代复杂度？
• RQ2 当精确求解子问题不可行或计算成本过高时，该算法应如何调整？
• RQ3 该算法在稀疏张量PCA和社区检测等实际问题上的表现如何？
• RQ4 随机变体能否保持与确定性版本相同的收敛复杂度？
• RQ5 在真实世界网络和张量问题中，该算法与当前最先进方法相比表现如何？

主要发现

• 所提出的算法在非凸、非光滑黎曼流形优化问题上，实现了达到ε-平稳解的O(1/ε²)迭代复杂度。
• 随机变体在期望意义下保持相同的O(1/ε²)迭代复杂度，从而支持大规模模型的可扩展性。
• 在30×30×30张量（5×5×5核心）上，稀疏张量PCA中方法的平均相对误差为0.0043，正交性违反度为2.7×10⁻⁷。
• 对于42×42×42张量，平均相对误差为0.0803，正交性违反度可忽略不计（1.2×10⁻¹⁴）。
• 在Caltech Facebook网络中，算法2的错误率为23.68%，优于SCORE（28.66%）和OCCAM（34.21%）。
• 在Simmons学院网络中，算法2的错误率为20.61%，略优于SCORE（22.54%）和OCCAM（23.92%）。