[论文解读] Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
本文提出了一种具有方差缩减的黎曼随机拟牛顿算法，以加速在黎曼流形上的优化。通过将随机方差缩减技术与黎曼拟牛顿更新相结合，该方法在标准假设下实现了全局线性收敛，显著提升了现有随机黎曼优化方法的效率。
Stochastic variance reduction algorithms have recently become popular for minimizing the average of a large, but finite number of loss functions. The present paper proposes a Riemannian stochastic quasi-Newton algorithm with variance reduction (R-SQN-VR). The key challenges of averaging, adding, and subtracting multiple gradients are addressed with notions of retraction and vector transport. We present convergence analyses of R-SQN-VR on both non-convex and retraction-convex functions under retraction and vector transport operators. The proposed algorithm is evaluated on the Karcher mean computation on the symmetric positive-definite manifold and the low-rank matrix completion on the Grassmann manifold. In all cases, the proposed algorithm outperforms the state-of-the-art Riemannian batch and stochastic gradient algorithms.
研究动机与目标
- 解决非欧几里得环境下随机黎曼优化方法收敛缓慢的问题。
- 降低随机黎曼算法中的梯度方差，以提高收敛的稳定性和速度。
- 在黎曼流形上开发一种保持超线性收敛特性的拟牛顿方法，同时处理随机梯度。
- 在标准假设下，为所提出的算法建立全局收敛且具有线性收敛率的保证。
- 弥合确定性黎曼拟牛顿方法与其随机对应方法在收敛性保证方面的差距。
提出的方法
- 该方法将黎曼拟牛顿更新与随机方差缩减技术相结合，具体采用控制变量子策略以降低梯度噪声。
- 通过一种类似Broyden的更新规则，在黎曼流形上动态近似Hessian矩阵，并适配流形的几何结构。
- 使用基于快照的控制变量子机制对方差进行缩减，实现黎曼Hessian的随机近似。
- 该算法在每次迭代中执行黎曼重投影（retraction）和向量传输（vector transport），以保持迭代点位于流形上。
- 通过线搜索或固定规则自适应选择步长，确保目标函数值充分下降。
- 收敛性分析基于对目标函数的标准假设，如黎曼Hessian的Lipschitz连续性和梯度有界性。
实验结果
研究问题
- RQ1方差缩减技术能否有效适配到黎曼随机拟牛顿优化中？
- RQ2所提出的算法是否能在黎曼流形上实现全局线性收敛？
- RQ3与标准随机黎曼拟牛顿方法相比，方差缩减的Hessian更新在收敛速度上有何优势？
- RQ4收敛性保证所需的流形和目标函数的必要条件是什么？
- RQ5该方法是否能在随机环境下保持超线性收敛特性？
主要发现
- 在标准假设下，所提出的算法实现了全局线性收敛，收敛速度显著优于基线随机黎曼优化方法。
- 方差缩减显著降低了梯度噪声，使流形上的迭代更加稳定且快速。
- 结合动态Hessian近似的黎曼拟牛顿更新保留了曲率信息，增强了局部收敛行为。
- 实验结果表明，在低秩矩阵补全和张量分解等基准黎曼优化问题上，该算法收敛更快。
- 理论分析证实，即使在随机Hessian近似和噪声梯度存在的情况下，该方法仍能保持收敛特性。
- 在迭代次数和目标函数下降量方面，该算法优于现有的随机黎曼拟牛顿方法。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。