[论文解读] Scale-invariant Learning by Physics Inversion

Philipp Holl, Vladlen Koltun+1 more|arXiv (Cornell University)|Sep 30, 2021

Machine Learning in Materials Science被引用 4

一句话总结

本文提出一种混合训练方法，用来自高阶逆向求解器（如 L-BFGS-B）的尺度不变更新替代物理模拟中的标准梯度，将其整合进深度学习流程。通过该方法，其在非线性物理反问题上实现了更快的收敛速度和更优的解质量，即使在波包定位和指数函数反演等复杂场景下，也优于标准的一阶优化方法。

ABSTRACT

Solving inverse problems, such as parameter estimation and optimal control, is a vital part of science. Many experiments repeatedly collect data and rely on machine learning algorithms to quickly infer solutions to the associated inverse problems. We find that state-of-the-art training techniques are not well-suited to many problems that involve physical processes. The highly nonlinear behavior, common in physical processes, results in strongly varying gradients that lead first-order optimizers like SGD or Adam to compute suboptimal optimization directions. We propose a novel hybrid training approach that combines higher-order optimization methods with machine learning techniques. We take updates from a scale-invariant inverse problem solver and embed them into the gradient-descent-based learning pipeline, replacing the regular gradient of the physical process. We demonstrate the capabilities of our method on a variety of canonical physical systems, showing that it yields significant improvements on a wide range of optimization and learning problems.

研究动机与目标

• 解决在非线性程度极高的物理系统中，SGD 和 Adam 等一阶优化器因梯度剧烈变化而导致的收敛性差的问题。
• 克服标准深度学习训练的局限性，即仅依赖一阶梯度，在病态条件或尺度敏感问题上表现不佳。
• 将来自物理求解器的高阶、尺度不变优化更新整合进标准深度学习框架，而无需对网络参数计算 Hessian 矩阵。
• 提升涉及复杂物理过程（如 Navier-Stokes 流动和波包定位）的反问题中的解质量与收敛速度。
• 证明基于学习的方法可通过共享参数化和跨样本梯度更新，超越迭代求解器的性能。

提出的方法

• 用高阶逆向求解器（如 L-BFGS-B）计算的更新替代物理过程中的伴随梯度，这些更新具有尺度不变性，能更准确捕捉局部非线性行为。
• 将这些物理衍生的更新作为反向传播流程中的有效梯度信号，保持与 Adam 等标准深度学习优化器的兼容性。
• 维持标准神经网络训练循环，但将物理模拟的标准梯度替换为近似 Hessian 信息下降方向的、基于物理的更新向量。
• 通过修改损失函数实现该方法：$\tilde{L} = \frac{1}{2}||\mathrm{NN}(y^{*}) - (\mathrm{NN}(\circ) + \Delta x)||_{2}^{2}$，其中 $\Delta x$ 为物理求解器的更新量。
• 将梯度归一化作为基线对比，即对梯度进行单位长度归一化，以缓解指数函数反演中的尺度问题。
• 使用标准深度学习组件（如 ReLU、Sigmoid、全连接层）和训练流程，确保与现有框架和优化技术的兼容性。

实验结果

研究问题

• RQ1 能否用高阶、尺度不变的更新替代物理模拟中的标准梯度，从而改善非线性反问题中的训练收敛性？
• RQ2 在物理系统中，所提出的混合方法与标准一阶优化（如 Adam、SGD）相比，在解的精度和收敛速度方面表现如何？
• RQ3 在波包定位或指数映射等非线性函数反演任务中，使用物理信息更新训练的神经网络能否超越 L-BFGS-B 等迭代求解器？
• RQ4 共享参数化和跨样本梯度更新在帮助逃离局部最优方面，该方法的受益程度如何？
• RQ5 当应用于 Navier-Stokes 方程等复杂物理系统时，该方法是否仍保持有效性和稳定性？

主要发现

• 所提出的方法在涉及非线性物理过程的反问题中显著提升了收敛速度和解质量，包括波包定位和指数函数反演。
• 在波包定位任务中，使用物理信息更新训练的神经网络在 30–40 次训练迭代后即超越 L-BFGS-B，即使 L-BFGS-B 因初始猜测不佳而未能收敛至全局最优。
• 在指数函数反演任务中，标准 Adam 和 SGD 因梯度缩放问题收敛缓慢，而采用物理信息更新的方法实现了更快收敛和更高精度。
• 该方法成功缓解了梯度病态性和尺度变化的影响，使高度非线性场景下的训练保持稳定且高效。
• 将高阶物理更新集成至深度学习流程中，保持了与现有优化加速和稳定技术的兼容性，支持实际部署。
• 在 Navier-Stokes 等典型物理系统上的实证结果表明，该混合方法显著提升了性能，且无需对模型参数计算 Hessian 矩阵。