[论文解读] Universal Scalable Robust Solvers from Computational Information Games and fast eigenspace adapted Multiresolution Analysis

Houman Owhadi, Clint Scovel|arXiv (Cornell University)|Mar 31, 2017

Image and Signal Denoising Methods参考文献 133被引用 21

一句话总结

本论文通过将数值计算形式化为计算信息博弈，提出了一种通用、可扩展且鲁棒的求解器框架，适用于任意有界线性算子。该框架引入了 gamblets——一种适配于算子特征子空间的基函数，实现了近乎线性复杂度的快速多分辨率分解，为一大类PDE问题提供了O(N polylog N)求解器与条件数控制。

ABSTRACT

We show how the discovery of robust scalable numerical solvers for arbitrary bounded linear operators can be automated as a Game Theory problem by reformulating the process of computing with partial information and limited resources as that of playing underlying hierarchies of adversarial information games. When the solution space is a Banach space $B$ endowed with a quadratic norm $\|\cdot\|$, the optimal measure (mixed strategy) for such games (e.g. the adversarial recovery of $u\in B$, given partial measurements $[ϕ_i, u]$ with $ϕ_i\in B^*$, using relative error in $\|\cdot\|$-norm as a loss) is a centered Gaussian field $ξ$ solely determined by the norm $\|\cdot\|$, whose conditioning (on measurements) produces optimal bets. When measurements are hierarchical, the process of conditioning this Gaussian field produces a hierarchy of elementary bets (gamblets). These gamblets generalize the notion of Wavelets and Wannier functions in the sense that they are adapted to the norm $\|\cdot\|$ and induce a multi-resolution decomposition of $B$ that is adapted to the eigensubspaces of the operator defining the norm $\|\cdot\|$. When the operator is localized, we show that the resulting gamblets are localized both in space and frequency and introduce the Fast Gamblet Transform (FGT) with rigorous accuracy and (near-linear) complexity estimates. As the FFT can be used to solve and diagonalize arbitrary PDEs with constant coefficients, the FGT can be used to decompose a wide range of continuous linear operators (including arbitrary continuous linear bijections from $H^s_0$ to $H^{-s}$ or to $L^2$) into a sequence of independent linear systems with uniformly bounded condition numbers and leads to $\mathcal{O}(N \operatorname{polylog} N)$ solvers and eigenspace adapted Multiresolution Analysis (resulting in near linear complexity approximation of all eigensubspaces).

研究动机与目标

• 解决在希尔伯特空间与巴拿赫空间中设计适用于任意有界线性算子的通用、可扩展且鲁棒的数值求解器的挑战。
• 克服传统求解器依赖于问题特异性结构或对算子或定义域施加强假设的局限性。
• 开发一种通过博弈论原则自动设计求解器的框架，确保在部分信息与有限资源下的最优性能。
• 在包括 H^s_0(Ω) 到 H^{-s}(Ω) 或 L^2(Ω) 在内的广泛算子类中，实现线性系统与特征值问题的近似线性复杂度求解。

提出的方法

• 将数值逼近重新表述为决策者（求解器）与对手（信息不确定性）之间的两人零和博弈，利用决策理论推导最优策略。
• 将最优恢复测度定义为在部分测量条件下、以算子范数唯一确定协方差结构的中心高斯场。
• 引入 gamblets 作为从最优博弈策略导出的局域化基函数，其通过适配算子的特征子空间，推广了小波与瓦纳函数。
• 利用 gamblets 构建解空间的分层多分辨率分解，实现自适应细化与高效计算。
• 开发快速 gamblet 变换（FGT），其复杂度严格控制在 O(N polylog N)，利用高斯场的局域化与分层条件化特性。
• 确保多分辨率层次中所有层级的条件数均匀有界，从而实现线性系统的鲁棒且可扩展求解。

实验结果

研究问题

• RQ1 能否设计出一种通用求解器框架，使其在无需针对具体问题调优的情况下，对任意有界线性算子均具备鲁棒性、可扩展性与适用性？
• RQ2 如何将部分信息与有限资源下的数值计算形式化为博弈论决策问题，以推导出最优策略？
• RQ3 当解空间配备二次范数时，线性反问题的最优恢复测度（如高斯场）具有何种结构？
• RQ4 能否构造出在空间与频率上均局域化的 gamblets？其局域化特性如何被严格刻画？
• RQ5 使用 gamblet 框架求解线性系统的计算复杂度是多少？能否对一般算子实现近似线性缩放？

主要发现

• 在具有二次范数的巴拿赫空间中，从部分测量恢复解的最优策略是中心高斯场，其条件分布可给出最优估计器。
• Gamblets——源自该高斯场的条件分布——构成了一组适配于定义范数的算子特征子空间的多分辨率基。
• 对于局域化算子，gamblets 展现出指数级的空间与频率局域化特性，从而实现高效计算与稳定条件化。
• 快速 gamblet 变换（FGT）在求解线性系统与计算特征子空间时达到 O(N polylog N) 复杂度，且条件数均匀有界。
• 该框架适用于广泛类别的算子，包括从 H^s_0(Ω) 到 H^{-s}(Ω) 或 L^2(Ω) 的连续线性双射，从而实现PDE的通用求解器。
• 该方法通过最坏情况下的最优恢复实现鲁棒性，其精度与稳定性具有理论保证，且独立于算子的具体结构。