[论文解读] Stochastic Primal-Dual Method on Riemannian Manifolds with Bounded Sectional Curvature

Masoud Badiei Khuzani, Na Li|arXiv (Cornell University)|Mar 23, 2017

Stochastic Gradient Optimization Techniques参考文献 45被引用 4

一句话总结

该论文提出了一种用于具有有界截面曲率的黎曼流形上的约束优化的随机原始-对偶算法，利用测地线凸性和比较几何。它建立了显式依赖于流形截面曲率的非渐近收敛速率，对双曲、椭圆及渐近椭圆流形均给出了紧致的界。

ABSTRACT

We study a stochastic primal-dual method for constrained optimization over Riemannian manifolds with bounded sectional curvature. We prove non-asymptotic convergence to the optimal objective value. More precisely, for the class of hyperbolic manifolds, we establish a convergence rate that is related to the sectional curvature lower bound. To prove a convergence rate in terms of sectional curvature for the elliptic manifolds, we leverage Toponogov's comparison theorem. In addition, we provide convergence analysis for the asymptotically elliptic manifolds, where the sectional curvature at each given point on manifold is locally bounded from below by the distance function. We demonstrate the performance of the primal-dual algorithm on the sphere for the non-negative principle component analysis (PCA). In particular, under the non-negativity constraint on the principle component and for the symmetric spiked covariance model, we empirically show that the primal-dual approach outperforms the spectral method. We also examine the performance of the primal-dual method for the anchored synchronization from partial noisy measurements of relative rotations on the Lie group SO(3). Lastly, we show that the primal-dual algorithm can be applied to the weighted MAX-CUT problem under constraints on the admissible cut. Specifically, we propose different approximation algorithms for the weighted MAX-CUT problem based on optimizing a function on the manifold of direct products of the unit spheres as well as the manifold of direct products of the rotation groups.

研究动机与目标

• 开发一种可扩展的、无需投影的优化方法，用于在欧氏空间中非凸的可行集的黎曼流形上的约束问题。
• 为具有有界截面曲率的流形上的随机原始-对偶方法建立非渐近收敛保证。
• 统一不同曲率区域（双曲（负曲率）、椭圆（正曲率）和渐近椭圆（局部下界由距离函数控制））下的收敛性分析。
• 在非负主成分分析、SO(3)上的锚定同步问题以及约束加权MAX-CUT问题上展示方法的实际有效性。

提出的方法

• 使用直接在流形上操作的黎曼原始-对偶算法，避免欧氏嵌入和投影步骤。
• 应用带有隐式正则化的随机次梯度方法，利用流形的几何结构，确保原始迭代点始终位于流形上。
• 对于双曲流形，利用测地线凸性和曲率感知分析，推导出依赖于截面曲率下界的收敛速率。
• 对于椭圆流形，利用Toponogov比较定理来控制曲率影响，并推导出包含截面曲率的收敛速率。
• 通过使用固定点的平方距离函数对截面曲率从下界进行有界，将分析扩展到渐近椭圆流形。
• 采用Orlicz范数浓度不等式和Talagrand型界来控制次梯度估计中的随机误差。

实验结果

研究问题

• RQ1 随机原始-对偶方法是否能在具有有界截面曲率的黎曼流形上实现非渐近收敛？
• RQ2 在双曲和椭圆流形中，截面曲率如何影响收敛速率？
• RQ3 是否可以将收敛性分析扩展到截面曲率下界由距离函数而非常数控制的流形？
• RQ4 在低信噪比条件下，黎曼原始-对偶方法是否在非负主成分分析中优于标准谱方法？
• RQ5 该方法能否有效应用于SO(3)等李群上的同步问题以及乘积流形上的约束MAX-CUT问题？

主要发现

• 对于具有有界截面曲率的双曲流形，该算法实现了显式依赖于曲率下界的全局非渐近收敛速率。
• 对于椭圆流形，Toponogov比较定理使得收敛界能够包含截面曲率，且当曲率趋于零时，该界趋近于双曲情形。
• 收敛性分析被扩展到渐近椭圆流形，其中截面曲率下界由固定点距离的二次函数控制。
• 在对称尖峰协方差模型下的非负主成分分析中，该原始-对偶方法在低信噪比条件下，基于余弦相似度指标，优于谱方法，尤其得益于非负性约束。
• 该方法随样本量增长表现出良好的可扩展性，优于仅适用于数百样本的半定规划（SDP）方法。
• 实验结果表明，该算法能有效从部分噪声相对旋转测量中求解SO(3)上的锚定同步问题，展现出鲁棒性和可扩展性。