[论文解读] Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs

Zhangyong Liang, Ji Zhang|arXiv (Cornell University)|Mar 25, 2026

Model Reduction and Neural Networks被引用 0

一句话总结

Introduction of SDZE，一种用于极高维度 PINN 的无反向传播的零阶优化器，通过 CRNS 消除空间方差并使用隐式矩阵无关子空间投影实现维度无内存与速度约束，能够在单 GPU 上训练到 千万维。

ABSTRACT

Physics-Informed Neural Networks (PINNs) for high-dimensional and high-order partial differential equations (PDEs) are primarily constrained by the $\mathcal{O}(d^k)$ spatial derivative complexity and the $\mathcal{O}(P)$ memory overhead of backpropagation (BP). While randomized spatial estimators successfully reduce the spatial complexity to $\mathcal{O}(1)$, their reliance on first-order optimization still leads to prohibitive memory consumption at scale. Zeroth-order (ZO) optimization offers a BP-free alternative; however, naively combining randomized spatial operators with ZO perturbations triggers a variance explosion of $\mathcal{O}(1/\varepsilon^2)$, leading to numerical divergence. To address these challenges, we propose the extbf{S}tochastic extbf{D}imension-free extbf{Z}eroth-order extbf{E}stimator ( extbf{SDZE}), a unified framework that achieves dimension-independent complexity in both space and memory. Specifically, SDZE leverages \emph{Common Random Numbers Synchronization (CRNS)} to algebraically cancel the $\mathcal{O}(1/\varepsilon^2)$ variance by locking spatial random seeds across perturbations. Furthermore, an \emph{implicit matrix-free subspace projection} is introduced to reduce parameter exploration variance from $\mathcal{O}(P)$ to $\mathcal{O}(r)$ while maintaining an $\mathcal{O}(1)$ optimizer memory footprint. Empirical results demonstrate that SDZE enables the training of 10-million-dimensional PINNs on a single NVIDIA A100 GPU, delivering significant improvements in speed and memory efficiency over state-of-the-art baselines.

研究动机与目标

• 应对高维高阶 PINN 因反向传播与导数复杂性带来的内存与计算瓶颈。
• 提供一个完全零阶优化框架，实现与维度无关的空间与内存复杂度。
• 通过常用随机数同步（CRNS）消除 ZO 估计中的方差爆炸。
• 通过隐式矩阵无关子空间投影降低参数探索方差至 O(r) 而非 O(P)，且无需存储投影矩阵。
• 在单 GPU 上展示对极大规模 PINN 的可扩展性，并提升速度与内存效率。

提出的方法

• 将空间算子定义为无偏的随机化估计来规避高阶反向传播。
• 应用常用随机数同步（CRNS）以在有限差分估计中抵消空间方差。
• 引入隐式矩阵无关子空间投影以将参数探索方差从 O(P) 降低到 O(r)，且不需要存储投影矩阵。
• 使用退火式懒惰子空间更新以维持低秩、逐层的投影。
• 对前向传播进行隐式重写，避免显式产生大规模扰动矩阵，从而实现 O(1) 的优化内存。
• 给出对偶方差湮灭与子空间对齐的理论保证。

实验结果

研究问题

• RQ1 如何在不使用反向传播的情况下实现对高维高阶 PINN 的维度无关的空间与内存复杂度？
• RQ2 通过消除空间与参数方差，零阶优化是否可以在 PDE-信息训练中实现稳定？
• RQ3 矩阵无关的子空间受限扰动策略在降低方差与内存使用时是否仍能维持表达能力？
• RQ4 在单 GPU 上以完全前向方式，是否可以训练极大规模 PINN（如千万维）？

主要发现

• SDZE 能在单个 NVIDIA A100 GPU 上训练极高维的 PINN。
• CRNS 能精确抵消零阶有限差分中的 O(1/ε^2) 空间方差。
• 隐式矩阵无关子空间投影将参数探索方差从 O(P) 降低到 O(r)，且内存开销可忽略。
• 退火式懒惰子空间更新通过 QR 映射维持正交投影基，控制计算成本。
• 与最先进的一阶基线相比，该方法在速度与内存效率方面有显著提升。
• 经验结果表明可在完全密集、未共享的架构下，成功训练多达千万维的 PINN。