[论文解读] Regression on fixed-rank positive semidefinite matrices: a Riemannian approach

Gilles Meyer, Silvère Bonnabel+1 more|arXiv (Cornell University)|Jun 7, 2010

Sparse and Compressive Sensing Techniques参考文献 50被引用 56

一句话总结

本文提出了一种针对固定秩正定矩阵回归的黎曼优化框架，利用流形的内在几何结构在梯度下降过程中保持秩和正定性。该方法在矩阵维度上实现线性可扩展性，在基准测试中优于子空间-后学习方法，并支持矩阵范围空间的无约束演化。

ABSTRACT

The paper addresses the problem of learning a regression model parameterized by a fixed-rank positive semidefinite matrix. The focus is on the nonlinear nature of the search space and on scalability to high-dimensional problems. The mathematical developments rely on the theory of gradient descent algorithms adapted to the Riemannian geometry that underlies the set of fixed-rank positive semidefinite matrices. In contrast with previous contributions in the literature, no restrictions are imposed on the range space of the learned matrix. The resulting algorithms maintain a linear complexity in the problem size and enjoy important invariance properties. We apply the proposed algorithms to the problem of learning a distance function parameterized by a positive semidefinite matrix. Good performance is observed on classical benchmarks.

研究动机与目标

• 为解决在高维问题中学习固定秩正定矩阵的挑战，因为标准方法存在计算成本过高的问题。
• 克服现有基于Bregman散度的方法的局限性，这些方法从一开始就固定了所学习矩阵的范围空间。
• 开发一种可扩展的、几何一致的优化框架，自然地施加秩和正定性约束。
• 实现低维子空间与原始数据空间中二次距离的联合学习，避免事前降维。
• 在马氏距离学习基准测试中，与先将数据投影到低维子空间的方法相比，表现出更优的性能。

提出的方法

• 该方法在固定秩正定矩阵的商流形上采用黎曼优化，利用Journée等人（2010）和Bonnabel与Sepulchre（2009）建立的几何结构。
• 通过流形上的线搜索算法计算梯度更新，确保所有迭代点均保持在固定秩正定矩阵集合内。
• 该方法采用基于重投影的更新规则，无需事后投影或类似投影的修正，即可保持秩和正定性。
• 该框架应用于马氏距离学习，其中距离矩阵被参数化为固定秩正定矩阵。
• 通过直接在原始数据空间中操作而无需事前降维，该算法在矩阵维度d上保持线性计算复杂度O(d)。
• 采用自适应步长策略以确保几乎必然收敛至驻点，理论依据来自Lyapunov过程及Bottou（1998）的假设。

实验结果

研究问题

• RQ1 在高维设置中，能否在固定秩正定矩阵流形上使用黎曼优化实现具有线性复杂度的可扩展学习？
• RQ2 在优化过程中，如何自然地施加秩和正定性约束，而无需依赖事后投影？
• RQ3 允许所学习矩阵的范围空间在优化过程中演化，是否能带来优于固定范围空间方法的性能？
• RQ4 与先降维再在子空间中学习满秩距离的两步法相比，所提出方法表现如何？
• RQ5 在随机设置下，所提出的黎曼梯度下降算法的收敛行为如何？

主要发现

• 所提出的黎曼算法在矩阵维度d上实现线性计算复杂度O(d)，使高维问题的可扩展性成为可能。
• 与先将数据投影到低维子空间的方法（如LEGO、LMNN、ITML）相比，该算法表现更优，尤其当秩r远小于d时。
• 所提出方法与子空间-后学习方法之间的性能差距在低秩时最为显著，随着r增大而逐渐缩小。
• 该方法在整个优化过程中保持了矩阵的秩和正定性，无需额外约束或投影。
• 理论分析证实，在标准随机梯度假设下，该方法几乎必然收敛至期望损失函数的驻点。
• 该框架为基于Bregman散度的算法提供了几何解释，并建立了在商矩阵流形上使用线搜索的一般收敛理论。