[论文解读] Sparse recovery of elliptic solvers from matrix-vector products

Florian Schäfer, Houman Owhadi|arXiv (Cornell University)|Oct 11, 2021

Advanced Numerical Methods in Computational Mathematics被引用 4

一句话总结

本文提出了一种新算法，仅通过 𝒪(log N log^d(N/ε)) 次矩阵-向量乘积，即可恢复椭圆PDE求解器的稀疏Cholesky分解，从而实现准确、并行且压缩的解算子近似。该方法在极少数黑箱查询下实现近似最优的精度，即使对于高阶或系数不光滑的算子也表现优异。

ABSTRACT

In this work, we show that solvers of elliptic boundary value problems in $d$ dimensions can be approximated to accuracy $ε$ from only $\mathcal{O}\left(\log(N)\log^{d}(N / ε) ight)$ matrix-vector products with carefully chosen vectors (right-hand sides). The solver is only accessed as a black box, and the underlying operator may be unknown and of an arbitrarily high order. Our algorithm (1) has complexity $\mathcal{O}\left(N\log^2(N)\log^{2d}(N / ε) ight)$ and represents the solution operator as a sparse Cholesky factorization with $\mathcal{O}\left(N\log(N)\log^{d}(N / ε) ight)$ nonzero entries, (2) allows for embarrassingly parallel evaluation of the solution operator and the computation of its log-determinant, (3) allows for $\mathcal{O}\left(\log(N)\log^{d}(N / ε) ight)$ complexity computation of individual entries of the matrix representation of the solver that, in turn, enables its recompression to an $\mathcal{O}\left(N\log^{d}(N / ε) ight)$ complexity representation. As a byproduct, our compression scheme produces a homogenized solution operator with near-optimal approximation accuracy. By polynomial approximation, we can also approximate the continuous Green's function (in operator and Hilbert-Schmidt norm) to accuracy $ε$ from $\mathcal{O}\left(\log^{1 + d}\left(ε^{-1} ight) ight)$ solutions of the PDE. We include rigorous proofs of these results. To the best of our knowledge, our algorithm achieves the best known trade-off between accuracy $ε$ and the number of required matrix-vector products.

研究动机与目标

• 解决传统矩阵-向量乘积采样方法在完全重构椭圆PDE解算子时计算成本过高的问题。
• 开发一种方法，以最少的黑箱查询次数近似离散化椭圆算子（如有限元或有限差分法）的逆算子。
• 通过稀疏可压缩的Cholesky分解，实现解算子、其对数行列式以及单个矩阵元素的高效计算。
• 在最坏情况设置下，实现精度 ε 与所需矩阵-向量乘积数量之间可证明最优的权衡。
• 将适用范围扩展至非自伴算子和复杂几何结构，包括具有混合边界条件的有限元模型。

提出的方法

• 利用多项式逼近与随机采样，从 𝒪(log N log^d(N/ε)) 次矩阵-向量乘积中构建逆算子的稀疏Cholesky分解。
• 利用格林函数的结构及Cholesky因子的指数衰减特性，实现对解算子的稀疏近似。
• 采用精心选择的右端项的随机采样方案，以低秩稀疏格式恢复逆算子。
• 构建具有 𝒪(N log^d(N/ε)) 个非零元素的解算子压缩表示，实现高效评估与再压缩。
• 利用稀疏Cholesky分解，以每项 𝒪(log N log^d(N/ε)) 的代价高效计算逆矩阵的单个元素。
• 通过矩阵-向量乘积与矩阵转置-向量乘积，将框架扩展至非自伴算子，实现LU分解的恢复。

实验结果

研究问题

• RQ1 能否仅使用远少于 N 次矩阵-向量乘积，即实现线性椭圆PDE解算子的 ε-精度近似？
• RQ2 能否仅通过 𝒪(log N log^d(N/ε)) 次黑箱查询，构建出逆算子的稀疏可压缩Cholesky分解？
• RQ3 该方法在最小正则性假设（如系数不光滑或非局部算子）下是否仍保持高精度与鲁棒性？
• RQ4 能否高效计算逆矩阵的单个元素，从而实现低成本的矩阵压缩与对数行列式计算？
• RQ5 该框架能否扩展至非自伴椭圆算子及具有复杂几何结构的有限元离散化？

主要发现

• 该算法仅通过 𝒪(log^{1+d}(ε^{-1})) 次矩阵-向量乘积，即可在算子范数与Hilbert-Schmidt范数下实现解算子的 ε-精度恢复。
• 恢复的Cholesky分解具有 𝒪(N log(N) log^d(N/ε)) 个非零元素，支持在 𝒪(N log²(N) log²d(N/ε)) 时间内评估解算子。
• 每个逆矩阵元素的计算成本为 𝒪(log N log^d(N/ε))，从而实现复杂度为 𝒪(N log^d(N/ε)) 的高效矩阵压缩。
• 与先前方法相比，该方法在样本复杂度上实现了指数级改进，尤其在最坏情况设置下优于基于幂方法的低秩近似。
• 即使在高对比度系数（如对比度比 ~10⁴）和非局部分数阶拉普拉斯算子下，该算法仍保持鲁棒性，逼近率接近最优。
• 该框架支持解算子的极度并行评估，以及对数行列式的高效计算，这对高斯过程推断至关重要。