[论文解读] Positive definite matrices and the Symmetric Stein Divergence

Suvrit Sra|arXiv (Cornell University)|Oct 8, 2011

Mathematical Inequalities and Applications被引用 45

一句话总结

本文提出S-散度，这是一种定义在正定矩阵锥上的新型距离类函数，其为某度量的平方，继承了黎曼距离的关键几何性质，同时计算效率更高。尽管其非凸性，S-散度仍能实现矩阵均值与中位数的全局优化，该结论得到理论分析与数值实验的支持。

ABSTRACT

Positive definite matrices abound in a dazzling variety of applications. This ubiquity can be in part attributed to their rich geometric structure: positive definite matrices form a self-dual convex cone whose strict interior is a Riemannian manifold. The manifold view is endowed with a natural distance function while the conic view is not. Nevertheless, drawing motivation from the conic view, we introduce the S-Divergence as a natural distance-like function on the open cone of positive definite matrices. We motivate the S-divergence via a sequence of results that connect it to the Riemannian distance. In particular, we show that (a) this divergence is the square of a distance; and (b) that it has several geometric properties similar to those of the Riemannian distance, though without being computationally as demanding. The S-divergence is even more intriguing: although nonconvex, we can still compute matrix means and medians using it to global optimality. We complement our results with some numerical experiments illustrating our theorems and our optimization algorithm for computing matrix medians.

研究动机与目标

• 开发一种计算高效的正定矩阵流形上黎曼距离的替代方法。
• 将正定矩阵的锥结构几何洞察与实用的距离类函数相连接。
• 通过利用其有利的几何与代数性质，实现使用非凸散度对矩阵均值与中位数进行全局优化。
• 建立S-散度与黎曼距离之间的理论联系，表明其行为类似于平方距离，具有相似的几何特性。

提出的方法

• 基于正定矩阵的锥结构，定义S-散度为一种源于自对偶凸锥几何的散度函数。
• 证明S-散度是某度量的平方，确立其作为正定矩阵开锥上有效距离类函数的基础。
• 证明S-散度与黎曼距离共享若干关键几何性质，如对称性及在特定矩阵变换下的不变性。
• 设计一种利用S-散度结构的优化算法，以实现矩阵均值与中位数的计算，尽管其非凸性，仍能保证全局最优。
• 通过数值实验验证理论结果，并展示所提优化方法的高效性与准确性。

实验结果

研究问题

• RQ1 能否从正定矩阵的锥结构出发，构造一种行为类似平方黎曼距离但计算成本更低的散度？
• RQ2 S-散度是否保留了黎曼距离的关键几何性质，如对称性与不变性？
• RQ3 是否可能使用如S-散度这样的非凸散度，同时保证矩阵均值与中位数计算的全局最优性？
• RQ4 在计算成本与几何保真度方面，S-散度与黎曼距离相比有何差异？

主要发现

• 证明S-散度是某度量的平方，确立其作为正定矩阵开锥上有效距离类函数的地位。
• 尽管计算成本更低，S-散度仍继承了黎曼距离的若干几何性质，如对称性与在合同变换下的不变性。
• 尽管S-散度非凸，本文证明仍可利用该散度实现矩阵均值与中位数的全局最优计算。
• 数值实验验证了理论结论，表明所提优化算法能高效且准确地收敛至最优解。