[论文解读] Quadratic Optimization with Orthogonality Constraints: Explicit Lojasiewicz Exponent and Linear Convergence of Line-Search Methods

Huikang Liu, Weijie Wu+1 more|arXiv (Cornell University)|Oct 5, 2015

Advanced Optimization Algorithms Research参考文献 23被引用 13

一句话总结

本文为在Stiefel流形上具有正交性约束的二次优化问题建立了显式的 Łojasiewicz 指数，首次实现了对一大类线搜索方法的维度无关线性收敛性证明。通过推导临界点的局部Lipschitz误差界，作者在无需特征值限制的条件下证明了线性收敛，显著推进了非凸矩阵优化问题的收敛速率分析。

ABSTRACT

A fundamental class of matrix optimization problems that arise in many areas of science and engineering is that of quadratic optimization with orthogonality constraints. Such problems can be solved using line-search methods on the Stiefel manifold, which are known to converge globally under mild conditions. To determine the convergence rate of these methods, we give an explicit estimate of the exponent in a Lojasiewicz inequality for the (non-convex) set of critical points of the aforementioned class of problems. By combining such an estimate with known arguments, we are able to establish the linear convergence of a large class of line-search methods. A key step in our proof is to establish a local error bound for the set of critical points, which may be of independent interest.

研究动机与目标

• 解决非凸二次优化中具有正交性约束的线搜索方法缺乏收敛速率分析的问题。
• 克服现有方法依赖凸性或严格特征值假设的局限性。
• 为该类问题临界点集提供显式的、维度无关的 Łojasiewicz 指数估计。
• 利用新的 Łojasiewicz 指数估计，建立一大类线搜索方法的线性收敛性。
• 为非凸临界点集构建局部误差界，该结果在优化理论中可能具有独立意义。

提出的方法

• 将问题表述为在 Stiefel 流形 $ \mathrm{St}(m,n) $ 上最小化 $ F(X) = \mathrm{tr}(X^T A X B) $，其中 $ X^T X = I_n $。
• 在 Stiefel 流形上应用线搜索方法，使用重投影映射（retraction）保持可行性，更新格式为 $ X_{k+1} = R(X_k, \alpha_k \xi_k) $。
• 通过分析最优性条件的结构，建立临界点集的局部Lipschitz误差界。
• 利用奇异值分解（SVD）和正交Procrustes问题技术，界定到解流形的距离。
• 推导出关于正交性偏离最小Frobenius范数的显式估计 $ \Theta(\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \|_F^2) $。
• 将误差界与已知的 Łojasiewicz 不等式框架结合，证明线搜索方法的线性收敛性。

实验结果

研究问题

• RQ1 具有正交性约束的非凸二次优化问题的临界点集，其 Łojasiewicz 指数的显式值是什么？
• RQ2 能否为临界点集建立一个与问题维度无关的局部误差界？
• RQ3 新的 Łojasiewicz 指数估计是否能实现无需特征值限制的线搜索方法线性收敛结果？
• RQ4 该误差界与最优性条件分解中非对角块的Frobenius范数有何关系？
• RQ5 该分析能否推广至多重特征值或 $ n > 1 $ 的情形？（由论文的普遍性隐含）

主要发现

• 推导出显式的 Łojasiewicz 指数，其值与问题维度 $ m $ 和 $ n $ 无关，从而实现精确的收敛速率分析。
• 建立了临界点集的局部误差界：$ \mathrm{dist}^2(X, \mathcal{X}_h) = \sum_{i \neq j} \|Y_{ij}\|_F^2 + \sum_i \Theta\left(\left\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \right\|_F^2 \right) $，该界是收敛性证明的关键。
• 证明了线搜索方法的线性收敛性，且无需假设最小特征值为单重或Hessian矩阵正定。
• 即使 $ n > 1 $ 且特征值重数大于1，方法仍能实现线性收敛，突破了以往的限制。
• 基于正交Procrustes问题与SVD的误差界技术，得到了精确估计 $ v_i^* = \Theta\left(\left\| \sum_{j \neq i} Y_{ji}^T Y_{ji} \right\|_F^2 \right) $，该估计是分析的核心。
• 该结果适用于一大类线搜索方法，包括使用标准重投影映射和Armijo型线搜索的方法，在较弱假设下成立。