[论文解读] Vector Transport-Free SVRG with General Retraction for Riemannian Optimization: Complexity Analysis and Practical Implementation

Bo Jiang, Shiqian Ma+2 more|arXiv (Cornell University)|May 25, 2017

Stochastic Gradient Optimization Techniques参考文献 30被引用 14

一句话总结

本论文提出S-SVRG，一种无需向量传输的随机方差缩减梯度方法，用于在一般流形上进行黎曼优化，使用任意重映射。通过消除对平行移动或向量传输的需求，该方法实现了更低的计算成本，并在 Łojasiewicz 不等式下建立了迭代复杂度边界，实现了局部线性收敛，且通过Barzilai-Borwein步长实现实际性能提升。

ABSTRACT

In this paper, we propose a vector transport-free stochastic variance reduced gradient (SVRG) method with general retraction for empirical risk minimization over Riemannian manifold. Existing SVRG methods on manifold usually consider a specific retraction operation, and involve additional computational costs such as parallel transport or vector transport. The vector transport-free SVRG with general retraction we propose in this paper handles general retraction operations, and do not need additional computational costs mentioned above. As a result, we name our algorithm S-SVRG, where the first "S" means simple. We analyze the iteration complexity of S-SVRG for obtaining an $ε$-stationary point and its local linear convergence by assuming the Łojasiewicz inequality, which naturally holds for PCA and holds with high probability for matrix completion problem. We also incorporate the Barzilai-Borwein step size and design a very practical S-SVRG-BB method. Numerical results on PCA and matrix completion problems are reported to demonstrate the efficiency of our methods.

研究动机与目标

• 开发一种黎曼优化的随机方差缩减梯度方法，避免昂贵的向量传输操作。
• 实现无需依赖平行传输等专用计算设备的一般重映射映射的使用。
• 在 Łojasiewicz 不等式下，为达到 ϵ-稳定点建立迭代复杂度边界。
• 针对PCA和矩阵补全等满足 Łojasiewicz 条件的问题，证明局部线性收敛性。
• 设计实用变体S-SVRG-BB，引入Barzilai-Borwein步长以提升实际性能。

提出的方法

• 提出S-SVRG，一种无向量传输的SVRG变体，使用一般重映射代替指数映射或专用传输。
• 通过周期性地获取完整梯度的快照，采用具有方差缩减的随机梯度估计器。
• 引入一种改进的步长规则，确保目标函数充分下降，且无需依赖向量传输。
• 利用 Łojasiewicz 不等式，为流形上的非凸问题建立局部线性收敛性。
• 引入Barzilai-Borwein（BB）步长选择机制，基于历史梯度自适应调整步长，提升实际收敛速度。
• 通过新型李雅普诺夫函数分析收敛性，并对每次迭代中目标值的期望下降量进行边界估计。

实验结果

研究问题

• RQ1 能否设计一种无需依赖向量传输或平行传输的黎曼流形上的随机方差缩减梯度方法？
• RQ2 在一般重映射下，该方法达到 ϵ-稳定点的迭代复杂度是多少？
• RQ3 对于满足 Łojasiewicz 不等式的PCA和矩阵补全等问题，该方法是否能实现局部线性收敛？
• RQ4 与固定步长相比，引入Barzilai-Borwein步长对实际性能有何影响？
• RQ5 与现有黎曼SVRG变体相比，该方法能否在降低计算开销的同时保持理论保证？

主要发现

• 在 Łojasiewicz 不等式下，S-SVRG 实现了 O(n^{2/3}/ϵ + n) 的 IFO（内部函数预言机）复杂度，以找到 ϵ-稳定点。
• 该方法在PCA和矩阵补全问题中确保了局部线性收敛，其中 Łojasiewicz 条件以高概率成立。
• S-SVRG-BB 变体在PCA和矩阵补全任务中表现出更优的实际性能，收敛速度优于标准SVRG和R-SVRG。
• 理论分析证实，S-SVRG 避免了向量传输和平行传输的计算负担，从而具备更广泛的应用潜力。
• 即使使用一般重映射（而不仅限于指数映射），该方法仍能保持收敛保证。
• 在较弱假设下推导出理论边界，包括测地线光滑性和有界曲率，使该方法对实际问题具有鲁棒性。