[论文解读] Riemannian optimization on the simplex of positive definite matrices

Bamdev Mishra, Hiroyuki Kasai+1 more|arXiv (Cornell University)|Jun 25, 2019

Topological and Geometric Data Analysis参考文献 13被引用 4

一句话总结

本文提出了一种针对矩阵单纯形流形的黎曼优化框架，其定义由约束条件 $\mathbf{X}_1 + \cdots + \mathbf{X}_K = \mathbf{I}$ 与 $\mathbf{X}_i \succ 0$ 确定，实现了对对称正定矩阵的高效优化。主要贡献在于构建了一套新颖的黎曼几何结构，包含度量、切空间投影、黎曼梯度与海森矩阵的闭式表达式，并通过从噪声估计中成功恢复正交子空间得到验证。

ABSTRACT

In this work, we generalize the probability simplex constraint to matrices, i.e., $\mathbf{X}_1 + \mathbf{X}_2 + \ldots + \mathbf{X}_K = \mathbf{I}$, where $\mathbf{X}_i \succeq 0$ is a symmetric positive semidefinite matrix of size $n imes n$ for all $i = \{1,\ldots,K \}$. By assuming positive definiteness of the matrices, we show that the constraint set arising from the matrix simplex has the structure of a smooth Riemannian submanifold. We discuss a novel Riemannian geometry for the matrix simplex manifold and show the derivation of first- and second-order optimization related ingredients.

研究动机与目标

• 将概率单纯形约束推广至对称正定矩阵，通过矩阵单纯形约束 $\sum_{i=1}^K \mathbf{X}_i = \mathbf{I}$，$\mathbf{X}_i \succ 0$。
• 通过强制严格正定性，在矩阵单纯形上建立光滑的黎曼子流形结构。
• 推导一阶与二阶优化工具——黎曼梯度、海森矩阵与切空间投影，用于黎曼优化算法。
• 展示该框架在从噪声矩阵估计中重构相互正交子空间方面的有效性。

提出的方法

• 将矩阵单纯形流形 $\mathcal{M}_n^K$ 定义为 $K$ 个对称正定 $n \times n$ 矩阵的集合，其和为单位矩阵。
• 基于矩阵的逆，赋予流形一个双不变黎曼度量：$g_x(\xi, \eta) = \sum_i \mathrm{trace}(\mathbf{X}_i^{-1} \xi_{\mathbf{X}_i} \mathbf{X}_i^{-1} \eta_{\mathbf{X}_i})$。
• 推导出 $x \in \mathcal{M}_n^K$ 处的切空间，即满足 $\xi_{\mathbf{X}_1} + \cdots + \xi_{\mathbf{X}_K} = \mathbf{0}$ 的对称矩阵 $K$ 元组。
• 开发一种闭式投影算子，将环境空间向量映射至切空间，计算复杂度为 $O(K)$。
• 利用度量与投影算子，从欧氏梯度与海森矩阵出发，构造黎曼梯度与海森矩阵。
• 将框架扩展至厄米特情形，并通过变量变换实现对一般正定矩阵 $\mathbf{M}$ 的分解。

实验结果

研究问题

• RQ1 如何在保持光滑黎曼流形结构的前提下，将概率单纯形约束推广至对称正定矩阵？
• RQ2 在严格正定性条件下，矩阵单纯形流形的合适黎曼度量与切空间结构是什么？
• RQ3 如何为该流形推导一阶与二阶优化工具（梯度、海森矩阵、投影）的闭式表达？
• RQ4 所提出的黎曼框架能否有效从噪声矩阵估计中恢复相互正交的子空间？
• RQ5 在大规模场景下，如何在不牺牲优化性能的前提下降低计算成本？

主要发现

• 当强制实施严格正定性时，矩阵单纯形流形 $\mathcal{M}_n^K$ 是对称正定矩阵乘积空间中的光滑黎曼子流形。
• 黎曼度量源自 $\mathbb{SPD}_n$ 上的双不变度量，确保几何一致性，并支持高效优化。
• 切空间投影算子的计算复杂度为 $O(K)$，黎曼梯度与海森矩阵通过度量与投影算子推导得出，支持一阶与二阶优化。
• 在 $n=100$，$K=3$ 的小规模实验中，信赖域算法的相互正交性误差低于 $10^{-6}$，表明正交子空间的近乎完美恢复。
• 该框架可推广至厄米特情形，并可通过变量变换实现对一般正定矩阵 $\mathbf{M}$ 的分解。
• 对于大规模问题，通过 $\mathbf{X}_i = \mathbf{U} \mathbf{B}_i \mathbf{U}^\top$ 的低秩近似，将计算成本降低至 $O(nr^2 + r^3K)$，当 $r \ll n$ 时实现可扩展性。