[论文解读] On Riemannian Optimization over Positive Definite Matrices with the Bures-Wasserstein Geometry

Andi Han, Bamdev Mishra+2 more|arXiv (Cornell University)|Dec 6, 2021

Morphological variations and asymmetry被引用 1

一句话总结

本文比较了对称正定（SPD）矩阵上的黎曼优化中使用的Bures-Wasserstein（BW）几何与仿射不变（AI）几何，表明BW的线性度量依赖性和非负曲率可增强鲁棒性和收敛性，尤其在病态矩阵情况下表现更优。此外，本文进一步证明，对于关键代价函数，测地凸性在BW几何下得以保持。

ABSTRACT

In this paper, we comparatively analyze the Bures-Wasserstein (BW) geometry with the popular Affine-Invariant (AI) geometry for Riemannian optimization on the symmetric positive definite (SPD) matrix manifold. Our study begins with an observation that the BW metric has a linear dependence on SPD matrices in contrast to the quadratic dependence of the AI metric. We build on this to show that the BW metric is a more suitable and robust choice for several Riemannian optimization problems over ill-conditioned SPD matrices. We show that the BW geometry has a non-negative curvature, which further improves convergence rates of algorithms over the non-positively curved AI geometry. Finally, we verify that several popular cost functions, which are known to be geodesic convex under the AI geometry, are also geodesic convex under the BW geometry. Extensive experiments on various applications support our findings.

研究动机与目标

• 评估Bures-Wasserstein（BW）几何在对称正定（SPD）矩阵上的黎曼优化中相较于广泛使用的仿射不变（AI）几何的适用性。
• 研究BW的线性度量依赖性与AI的二次依赖性之间的差异，及其对优化性能的影响。
• 分析BW几何的曲率特性，并评估其对算法收敛速度的影响。
• 验证在AI几何下已知为测地凸的常用代价函数，在BW几何下是否仍保持测地凸性。
• 通过涉及病态SPD矩阵的多样化应用，实证验证BW几何的理论优势。

提出的方法

• 本文分析了Bures-Wasserstein度量的结构，强调其对SPD矩阵的线性依赖性，与仿射不变度量的二次依赖性形成对比。
• 推导并分析了BW几何的曲率特性，证明其具有非负的截面曲率，而AI几何可能具有负曲率。
• 通过度量的结构特性，开展理论分析，以确立标准代价函数在BW几何下的测地凸性。
• 作者在病态SPD矩阵上对比了两种几何下的优化性能，测量收敛速度与鲁棒性。
• 在真实世界应用中进行了大量实验，以验证理论发现，包括SPD矩阵估计和低秩逼近等任务。
• 研究利用黎曼优化算法（如黎曼信赖域法和共轭梯度法）在BW与AI几何下进行对比评估。

实验结果

研究问题

• RQ1 与仿射不变度量的二次依赖性相比，Bures-Wasserstein度量对SPD矩阵的线性依赖性如何影响优化性能？
• RQ2 Bures-Wasserstein几何的曲率特性是什么？它们如何影响黎曼优化中的收敛速率？
• RQ3 在仿射不变几何下已知为测地凸的标准代价函数，在Bures-Wasserstein几何下是否仍保持测地凸性？
• RQ4 与仿射不变几何相比，Bures-Wasserstein几何是否在病态对称正定矩阵上展现出更优的鲁棒性和收敛性？
• RQ5 Bures-Wasserstein几何是否能在涉及SPD矩阵的多样化应用中保持或提升性能？

主要发现

• Bures-Wasserstein度量表现出对SPD矩阵的线性依赖性，相较于仿射不变度量的二次依赖性，可简化优化过程并提升数值稳定性。
• Bures-Wasserstein几何具有非负的截面曲率，这有助于黎曼优化算法实现更快且更稳定的收敛，优于可能具有负曲率的仿射不变几何。
• 多个广泛使用的代价函数——此前已知在仿射不变几何下为测地凸——在Bures-Wasserstein几何下同样保持测地凸性，确保了有利的优化行为。
• 实证结果表明，与仿射不变方法相比，基于Bures-Wasserstein几何的黎曼优化在病态SPD矩阵上实现了更优的鲁棒性和更快的收敛速度。
• 本研究证实，Bures-Wasserstein几何是SPD流形上黎曼优化的更合适且更鲁棒的选择，尤其在具有挑战性的数值条件下。