[论文解读] XTrace: Making the most of every sample in stochastic trace estimation

Ethan N. Epperly, Joel A. Tropp+1 more|arXiv (Cornell University)|Jan 19, 2023

Random Matrices and Applications参考文献 31被引用 4

一句话总结

本文提出了XTrace和XNysTrace两种新型随机迹估计器，利用可交换性原理与方差缩减技术，显著降低了现有方法（如Girard–Hutchinson和Hutch++）的估计误差。通过从矩阵-向量乘积构建对称且可交换的估计器，算法在固定矩阵向量乘积数量下，将方差降低多个数量级，其理论保证与矩阵谱特性相关，并在多种测试矩阵上得到经验验证。

ABSTRACT

The implicit trace estimation problem asks for an approximation of the trace of a square matrix, accessed via matrix-vector products (matvecs). This paper designs new randomized algorithms, XTrace and XNysTrace, for the trace estimation problem by exploiting both variance reduction and the exchangeability principle. For a fixed budget of matvecs, numerical experiments show that the new methods can achieve errors that are orders of magnitude smaller than existing algorithms, such as the Girard-Hutchinson estimator or the Hutch++ estimator. A theoretical analysis confirms the benefits by offering a precise description of the performance of these algorithms as a function of the spectrum of the input matrix. The paper also develops an exchangeable estimator, XDiag, for approximating the diagonal of a square matrix using matvecs.

研究动机与目标

• 解决现有随机迹估计器的根本局限：不满足可交换性原理，因而无法实现最小方差。
• 设计新型随机化算法，利用可交换性与方差缩减，在固定矩阵向量乘积预算下提升迹估计精度。
• 提供理论分析，将估计器性能与输入矩阵的谱特性相关联。
• 提出XDiag，一种基于可交换性的估计器，用于通过矩阵-向量乘积近似矩阵的对角线。
• 通过数值实验表明，新方法相比最先进方法实现了多个数量级的误差降低。

提出的方法

• 提出XTrace，一种对称且可交换的估计器，通过独立同分布的随机向量与矩阵的多次矩阵-向量乘积计算迹，确保在可交换性条件下的最小方差。
• 通过截断SVD引入低秩近似以降低方差，利用残差矩阵对迹估计进行精炼。
• 设计XNysTrace作为基于Nyström的变体，采用结构化随机投影，提升具有快速衰减谱的矩阵的收敛性。
• 应用可交换性原理，推导出作为随机测试向量对称函数的估计器，确保最优统计特性。
• 提出后验误差估计器，通过利用独立运行样本间的相关性，反映实际估计误差。
• 基于U统计量与可交换随机变量的理论框架，证明所提估计器的最优性。

实验结果

研究问题

• RQ1 可交换性原理能否系统性地应用于设计方差更低的新型随机迹估计器？
• RQ2 在估计器函数中强制对称性相较于非可交换方法（如Girard–Hutchinson）能多大程度提升性能？
• RQ3 通过低秩近似与结构化采样实现的方差缩减，能在多大程度上提升迹估计精度？
• RQ4 在不同矩阵谱结构下，新估计器相较于Hutch++及其他最先进方法表现如何？
• RQ5 能否构建一种可交换的对角线估计器（XDiag），使其精度达到或超过现有对角线近似技术？

主要发现

• 在固定矩阵向量乘积数量下，XTrace与XNysTrace相比Girard–Hutchinson与Hutch++估计器，将估计误差降低了多个数量级。
• 理论分析表明，XTrace的方差随矩阵谱特性呈有利变化，尤其在奇异值衰减缓慢时表现更优。
• 实证结果表明，XTrace的相关性保持有界且较低（例如，≤0.06），即使在特征值快速衰减的矩阵上也表现出强统计稳定性。
• 后验误差估计器 $ ext{err}^2$ 准确反映了真实均方误差，实践中平均估计值与真实值相差不超过1.2倍。
• 对于奇异值衰减较快的矩阵，XNysTrace由于其结构化采样方法，在性能上优于XTrace与Hutch++。
• XDiag提供了一种新型可交换对角线近似方法，保持低方差，并在性能上与现有技术具有竞争力。