[论文解读] Simple algorithms for optimization on Riemannian manifolds with constraints

Changshuo Liu, Nicolas Boumal|arXiv (Cornell University)|Jan 28, 2019

Advanced Optimization Algorithms Research参考文献 42被引用 4

一句话总结

该论文将经典的约束优化方法——增广拉格朗日法与精确惩罚法——推广至带有约束的黎曼流形，保留了几何结构以提升性能。结果表明，利用黎曼几何可显著提高高维问题（如非负主成分分析、k-均值聚类与最小平衡割）的计算效率与精度，尤其优于将流形视为欧氏空间中附加等式约束的处理方式。

ABSTRACT

We consider optimization problems on manifolds with equality and inequality constraints. A large body of work treats constrained optimization in Euclidean spaces. In this work, we consider extensions of existing algorithms from the Euclidean case to the Riemannian case. Thus, the variable lives on a known smooth manifold and is further constrained. In doing so, we exploit the growing literature on unconstrained Riemannian optimization. For the special case where the manifold is itself described by equality constraints, one could in principle treat the whole problem as a constrained problem in a Euclidean space. The main hypothesis we test here is whether it is sometimes better to exploit the geometry of the constraints, even if only for a subset of them. Specifically, this paper extends an augmented Lagrangian method and smoothed versions of an exact penalty method to the Riemannian case, together with some fundamental convergence results. Numerical experiments indicate some gains in computational efficiency and accuracy in some regimes for minimum balanced cut, non-negative PCA and $k$-means, especially in high dimensions.

研究动机与目标

• 将经典的约束优化算法——增广拉格朗日法与精确惩罚法——从欧氏空间系统性地推广至带有等式与不等式约束的黎曼流形。
• 探究利用流形约束的内在几何结构是否能相比在欧氏空间中将流形视为额外等式约束的方式，提升收敛速度与计算效率。
• 为这些方法在黎曼流形上的扩展建立基本的收敛性质（局部与全局）。
• 在真实问题（如非负主成分分析、k-均值聚类与最小平衡割）上评估所提黎曼算法的性能。
• 与不利用黎曼结构的标准非线性规划求解器（如 fmincon）进行对比，提供基准测试。

提出的方法

• 通过引入与流形相关的重投影（retractions）与向量传输（vector transport），将增广拉格朗日法（ALM）适配至黎曼流形，确保迭代点始终位于流形上。
• 将精确惩罚法推广至黎曼设置，通过构建涉及约束违反最大值函数的极小化-求和-求最大值子问题，该问题为非光滑问题，需采用特殊求解技术。
• 开发一种无需梯度采样的鲁棒次梯度下降法，用于求解精确惩罚法中产生的极小化-求和-求最大值子问题。
• 采用两种经典平滑函数——对数求和指数（log-sum-exp）与“线性-二次 + Huber 损失”——对非光滑惩罚子问题进行近似。
• 将黎曼优化框架与现有算法集成，在每次迭代中保持流形约束的数值精度。
• 实现并对比黎曼算法与基线 fmincon 求解器（后者将流形视为欧氏空间中的等式约束）的性能。

实验结果

研究问题

• RQ1 经典约束优化方法（如增广拉格朗日法与精确惩罚法）能否成功推广至同时包含等式与不等式约束的黎曼流形？
• RQ2 利用流形约束的黎曼几何结构是否相比在欧氏空间中将流形视为等式约束的方式，能提升收敛速度与精度？
• RQ3 这些方法在黎曼流形上的扩展版本与它们在欧氏空间中的对应版本相比，收敛性质有何差异？
• RQ4 在高维问题（如非负主成分分析、k-均值聚类与最小平衡割）中，黎曼 ALM 与精确惩罚法的实际性能如何？
• RQ5 是否存在特定问题场景（如高维性）使得黎曼方法显著优于标准非线性规划求解器（如 fmincon）？

主要发现

• 在高维问题中，利用流形结构的黎曼算法优于基线 fmincon 求解器（后者将流形视为额外等式约束）的性能。
• 在非负主成分分析中，黎曼精确惩罚法的最大约束违反值为 $2.13 \cdot 10^{-7}$，显著低于 fmincon 的 $4.44 \cdot 10^{-5}$。
• 在 Wine 数据集上，黎曼增广拉格朗日法将计算时间减少至 $1.70 \cdot 10^{2}$ 秒，而 fmincon 耗时 $3.86 \cdot 10^{3}$ 秒。
• 在 Pima 数据集上，黎曼精确惩罚法达到成本 $9.48 \cdot 10^{-3}$，优于 fmincon 的 $2.60 \cdot 10^{-2}$，且最大违反值仅为 $2.10 \cdot 10^{-10}$。
• 在 Cloud 数据集（k=4）上，黎曼精确惩罚法实现了最低成本（$5.49 \cdot 10^{-4}$）与最快运行时间（$3.65 \cdot 10^{3}$ 秒），优于其他方法。
• 所提出的用于极小化-求和-求最大值问题的鲁棒次梯度法在无需梯度采样的情况下表现出更优的稳定性与性能，表明其在非光滑黎曼优化中具有更广泛的应用潜力。