[论文解读] The Inverse Fast Multipole Method

Sivaram Ambikasaran, Eric Darve|arXiv (Cornell University)|Jul 7, 2014

Electromagnetic Scattering and Analysis参考文献 52被引用 27

一句话总结

本文提出了一种新型的 $Ø(N)$ 直接求解器——逆快速多极子方法（IFMM），用于求解积分方程、径向基函数插值以及稠密协方差矩阵所生成的线性系统。通过将 FMM 矩阵扩展为更大的、更稀疏的 $M \times M$ 系统（$M \approx 3N$），并仅对远距离簇间相互作用进行分层压缩，IFMM 在所有维度下均实现了线性复杂度，即使在相邻簇间相互作用具有高秩的情况下也适用——这在以往是快速直接求解器的瓶颈。

ABSTRACT

This article introduces a new fast direct solver for linear systems arising out of wide range of applications, integral equations, multivariate statistics, radial basis interpolation, etc., to name a few. \emph{The highlight of this new fast direct solver is that the solver scales linearly in the number of unknowns in all dimensions.} The solver, termed as Inverse Fast Multipole Method (abbreviated as IFMM), works on the same data-structure as the Fast Multipole Method (abbreviated as FMM). More generally, the solver can be immediately extended to the class of hierarchical matrices, denoted as $\mathcal{H}^2$ matrices with strong admissibility criteria (weak low-rank structure), i.e., \emph{the interaction between neighboring cluster of particles is full-rank whereas the interaction between particles corresponding to well-separated clusters can be efficiently represented as a low-rank matrix}. The algorithm departs from existing approaches in the fact that throughout the algorithm the interaction corresponding to neighboring clusters are always treated as full-rank interactions. Our approach relies on two major ideas: (i) The $N imes N$ matrix arising out of FMM (from now on termed as FMM matrix) can be represented as an extended sparser matrix of size $M imes M$, where $M \approx 3N$. (ii) While solving the larger extended sparser matrix, \emph{the fill-in's that arise in the matrix blocks corresponding to well-separated clusters are hierarchically compressed}. The ordering of the equations and the unknowns in the extended sparser matrix is strongly related to the local and multipole coefficients in the FMM~\cite{greengard1987fast} and \emph{the order of elimination is different from the usual nested dissection approach}. Numerical benchmarks on $2$D manifold confirm the linear scaling of the algorithm.

研究动机与目标

• 开发一种针对积分方程和层次矩阵所生成的稠密线性系统的快速直接求解器，实现与 $N$ 线性相关的复杂度。
• 克服现有快速直接求解器在 2D 和 3D 中因相邻簇间相互作用秩持续增长而导致无法实现线性扩展的局限性。
• 通过使用与 FMM 相同数据结构的求解器，实现对椭圆型 PDE、径向基函数插值和高斯过程所生成的大规模系统的高效求解。
• 通过仅压缩非相邻相互作用，将快速直接求解器的适用范围扩展至满足强可容许性准则的 $Ø^2$ 矩阵。

提出的方法

• 将 $N \times N$ 的 FMM 矩阵表示为扩展后的 $M \times M$ 更稀疏矩阵，其中 $M \approx 3N$，并保留 FMM 的分层树结构。
• 在整个算法中将相邻簇之间的相互作用视为满秩，避免因秩近似而降低精度。
• 仅对远距离簇之间的相互作用应用分层压缩，这些相互作用在强可容许性条件下被证明为低秩。
• 采用一种基于 FMM 局部系数与多极系数的新颖消去顺序，区别于传统的嵌套分离法。
• 利用分层结构压缩因子分解过程中产生的填充块，保持其低秩结构。
• 通过利用强可容许性准则，将方法扩展至 $Ø^2$ 矩阵，其中远距离簇间相互作用为低秩。

实验结果

研究问题

• RQ1 能否在所有维度下构建一个针对 FMM 矩阵的直接求解器，即使相邻簇间相互作用为高秩，也能实现 $Ø(N)$ 复杂度？
• RQ2 是否可以通过仅压缩非相邻簇间相互作用，同时将相邻簇间相互作用视为满秩，来维持线性扩展？
• RQ3 IFMM 在 2D 和 3D 中对具有奇异或振荡格林函数的积分方程求解表现如何？
• RQ4 能否将 IFMM 扩展至满足强可容许性准则的 $Ø^2$ 矩阵，并仍实现 $Ø(N)$ 复杂度？
• RQ5 与 HODLR 等现有求解器相比，IFMM 在真实问题（如径向基函数插值和协方差矩阵）中的数值性能如何？

主要发现

• IFMM 在 2D 和 3D 中对 FMM 矩阵生成的线性系统求解实现了 $Ø(N)$ 计算复杂度，即使相邻簇间相互作用的秩分别增长至 $\mathcal{O}(\sqrt{N})$ 和 $\mathcal{O}(N^{2/3})$ 时亦成立。
• 在 2D 流形上的数值基准测试证实了线性扩展，解算时间随 $N$ 增大而近似线性增长，覆盖所有测试的问题规模。
• 对于 $\nu=2.5$ 的 Matérn 核函数，IFMM 求解器在 $N=1000$ 时达到 $10^{-13}$ 的相对误差，解算时间为 12.12 秒，压缩秩为 32。
• 在稠密协方差矩阵和径向基函数插值问题中，IFMM 在速度和精度上均优于 HODLR，$N=1000$ 时速度提升达 10 至 100 倍。
• 该方法在不同格林函数下均保持稳定与高精度，包括对数型、反距离型以及振荡型赫姆霍兹核函数，所有情况下相对误差均低于 $10^{-10}$。
• 该方法自然可扩展至稀疏矩阵（如有限差分/有限元离散化所得），这些矩阵是 $Ø^2$ 矩阵的特例，其中非相邻簇间相互作用的秩为零。