[论文解读] Multifidelity Covariance Estimation via Regression on the Manifold of Symmetric Positive Definite Matrices

Aimee Maurais, Terrence Alsup+2 more|arXiv (Cornell University)|Jul 23, 2023

Morphological variations and asymmetry被引用 5

一句话总结

本文提出了一种多保真度协方差估计器，将协方差估计建模为对称正定（SPD）矩阵流形上的回归问题，通过构造确保正定性。通过利用黎曼几何并最小化切空间上的马氏距离，该方法相比仅使用高保真度估计的误差降低了高达53%，在数值实验中优于现有的多保真度和单保真度估计器。

ABSTRACT

We introduce a multifidelity estimator of covariance matrices formulated as the solution to a regression problem on the manifold of symmetric positive definite matrices. The estimator is positive definite by construction, and the Mahalanobis distance minimized to obtain it possesses properties enabling practical computation. We show that our manifold regression multifidelity (MRMF) covariance estimator is a maximum likelihood estimator under a certain error model on manifold tangent space. More broadly, we show that our Riemannian regression framework encompasses existing multifidelity covariance estimators constructed from control variates. We demonstrate via numerical examples that the MRMF estimator can provide significant decreases, up to one order of magnitude, in squared estimation error relative to both single-fidelity and other multifidelity covariance estimators. Furthermore, preservation of positive definiteness ensures that our estimator is compatible with downstream tasks, such as data assimilation and metric learning, in which this property is essential.

研究动机与目标

• 解决在高维、计算成本高昂的场景中，由于高保真度数据稀缺而导致的小样本协方差估计挑战。
• 克服标准多保真度方法可能产生非正定协方差矩阵的局限性，通过将估计嵌入对称正定矩阵的黎曼几何中。
• 构建一个框架，将现有基于控制变量子的多保真度估计器统一于一个合理的黎曼回归公式中。
• 确保与下游应用（如数据同化和度量学习）的兼容性，这些应用需要正定协方差矩阵。
• 在多个数值基准测试中，显著提升估计精度，特别是在平均相对误差（MRE）方面。

提出的方法

• 利用仿射不变黎曼几何，将多保真度协方差估计问题建模为对称正定（SPD）矩阵流形上的回归问题。
• 在SPD流形的切空间上定义马氏距离以衡量估计误差，通过黎曼优化实现实际计算。
• 将估计器构造为一个优化问题的解，该问题在高保真度样本的保真度与通过低保真度样本实现的方差减少之间取得平衡。
• 通过利用SPD流形的内在几何结构，而非事后校正，确保估计器在设计上即为正定。
• 通过理论分析表明，该估计器在SPD流形切空间上的特定误差模型下，等价于最大似然估计器。
• 通过将[44]中均值和协方差定义推广至不同几何结构，将该框架推广至其他黎曼流形。

实验结果

研究问题

• RQ1 能否构建一种多保真度协方差估计器，在小样本条件下保持正定性的同时降低估计误差？
• RQ2 所提出的SPD流形上的黎曼回归框架在平均相对误差和方差减少方面，与现有多保真度估计器相比表现如何？
• RQ3 基于流形的马氏距离在多大程度上实现了无需依赖向量空间假设的稳定且高效的估计器计算？
• RQ4 所提出的框架能否推广至SPD矩阵以外的其他黎曼流形，如旋转矩阵或概率测度？
• RQ5 该估计器性能的理论依据是什么，特别是其与SPD流形切空间上最大似然估计的关系？

主要发现

• 流形回归多保真度（MRMF）估计器相比仅使用高保真度估计的误差，将平均相对误差（MRE）降低了53%，显著提升了精度。
• MRMF估计器相比仅使用低保真度估计的误差，将MRE降低了25%；相比LEMF估计器，降低了6.9%，在所有测试场景中均表现更优。
• 估计器在设计上保持正定性，确保与数据同化和度量学习等下游应用的兼容性。
• 理论分析表明，MRMF估计器在SPD流形切空间的特定误差模型下，等价于最大似然估计器。
• 该框架统一了现有基于控制变量子的多保真度估计器，并为黎曼流形上的多保真度估计提供了统一方法。
• 数值实验确认，MRMF估计器相比单保真度和其他多保真度方法，将平方估计误差降低了高达一个数量级。