[论文解读] Randomized matrix-free quadrature: unified and uniform bounds for stochastic Lanczos quadrature and the kernel polynomial method

Tyler Chen, Thomas Trogdon+1 more|arXiv (Cornell University)|Apr 5, 2022

Tensor decomposition and applications被引用 5

一句话总结

本文通过分析利用Krylov子空间方法结合各向同性随机向量估算谱和的随机化矩阵自由求积法，为随机化Lanczos求积法和核多项式法等方法构建了一个统一的理论框架。主要贡献在于推导出适用于这些广泛使用的算法的统一、非渐近的近似误差界，从而统一并阐明了其内在权衡关系，尤其针对核多项式法中的参数选择问题。

ABSTRACT

We analyze randomized matrix-free quadrature algorithms for spectrum and spectral sum approximation. The algorithms studied include the kernel polynomial method and stochastic Lanczos quadrature, two widely used methods for these tasks. Our analysis of spectrum approximation unifies and simplifies several one-off analyses for these algorithms which have appeared over the past decade. In addition, we derive bounds for spectral sum approximation which guarantee that, with high probability, the algorithms are simultaneously accurate on all bounded analytic functions. Finally, we provide comprehensive and complimentary numerical examples. These examples illustrate some of the qualitative similarities and differences between the algorithms, as well as relative drawbacks and benefits to their use on different types of problems.

研究动机与目标

• 为理解用于谱和与谱近似计算的随机化矩阵自由求积算法，提供一个统一的理论框架。
• 通过二次型的Krylov子空间近似视角，分析随机Lanczos求积法与核多项式法之间的共同结构。
• 推导适用于两种方法的统一、非渐近误差界，从而实现更清晰的比较并揭示其内在权衡。
• 基于理论误差界，为核多项式法中的参数选择提供新的实用指导。
• 建立这些方法收敛行为与区间[-1,1]上阻尼切比雪夫逼近性质之间的联系。

提出的方法

• 该方法使用各向同性随机向量生成二次型 $ \mathbf{v}^\text{H} f(\mathbf{A}) \mathbf{v} $ 的独立同分布样本，其中 $ \mathbf{A} $ 为厄米特矩阵，$ f $ 为实值函数。
• 利用Krylov子空间方法近似每个样本 $ \mathbf{v}^\text{H} f(\mathbf{A}) \mathbf{v} $，从而在无需显式矩阵求逆或特征值分解的情况下实现高效计算。
• 该框架将随机Lanczos求积法与核多项式法视为同一通用方法的特例，二者仅在求积权重和投影策略的选择上有所不同。
• 通过分析阻尼三角多项式的逼近误差，推导出统一的误差界，利用切比雪夫多项式及其节点插值的性质。
• 通过将区间 $[-1,1]$ 映射到单位圆，将问题转化为三角逼近问题，从而可利用已知的傅里叶级数阻尼收敛结果。
• 关键技术工具是构造一个阻尼切比雪夫逼近 $ p_n^\circ(x) $，使其对函数 $ f $ 进行插值或投影，其误差界为 $ \frac{\pi^2}{2} n^{-1} $，适用于1-Lipschitz函数。

实验结果

研究问题

• RQ1 如何将随机Lanczos求积法与核多项式法统一于单一理论框架之下？
• RQ2 控制这些矩阵自由求积法收敛性的统一、非渐近误差界是什么？
• RQ3 这些方法的逼近误差如何与切比雪夫多项式及其阻尼系数的性质相关联？
• RQ4 该框架为核多项式法中的最优参数选择提供了哪些新见解？
• RQ5 是否可以对不同矩阵函数和问题规模下的随机化矩阵自由求积法收敛性进行统一分析？

主要发现

• 论文建立了核多项式法中所用阻尼切比雪夫逼近的统一误差界 $ \frac{\pi^2}{2} n^{-1} $，该界对区间 $[-1,1]$ 上的1-Lipschitz函数成立。
• 该误差界通过将问题映射到单位圆并分析阻尼三角多项式的收敛性推导得出，其中阻尼系数 $ \rho_k $ 显式地以 $ \frac{k\pi}{n+2} $ 的三角函数形式定义。
• 该框架表明，随机Lanczos求积法与核多项式法均为同一通用算法结构的特例，仅在求积权重和Krylov投影策略上存在差异。
• 分析揭示，核多项式法的误差本质上与带阻尼的切比雪夫多项式逼近质量密切相关，并为多项式次数的选择提供了理论依据。
• 阻尼逼近误差的界 $ \frac{\pi^2}{2}(n+2)^{-1} $ 被证明在常数因子意义下是紧的，其中 $ (1 - \rho_1)^{1/2} \leq \sqrt{2} \cdot \frac{\pi}{2n+4} $，从而导出最终的误差界。
• 结果为在核多项式法中选择多项式次数 $ n $ 提供了实用指导，使得误差以 $ O(n^{-1}) $ 速率衰减。