[论文解读] Physics Regularized Gaussian Processes.

Zheng Wang, Wei Xing+2 more|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 27被引用 13

一句话总结

该论文提出物理正则化高斯过程（PRGP），一种贝叶斯框架，可将任意微分方程——线性或非线性——整合到高斯过程中，而无需依赖格林函数或受限的核卷积。通过边缘化隐变量并推导出简化的变分推断目标，PRGP 实现了对表达能力强的核函数（如深度核）的有效使用，显著提升了在数据有限情况下的泛化与外推能力。

ABSTRACT

We consider incorporating incomplete physics knowledge, expressed as differential equations with latent functions, into Gaussian processes (GPs) to improve their performance, especially for limited data and extrapolation. While existing works have successfully encoded such knowledge via kernel convolution, they only apply to linear equations with analytical Green's functions. The convolution can further restrict us from fusing physics with highly expressive kernels, e.g., deep kernels. To overcome these limitations, we propose Physics Regularized Gaussian Process (PRGP) that can incorporate both linear and nonlinear equations, does not rely on Green's functions, and is free to use arbitrary kernels. Specifically, we integrate the standard GP with a generative model to encode the differential equation in a principled Bayesian hybrid framework. For efficient and effective inference, we marginalize out the latent variables and derive a simplified model evidence lower bound (ELBO), based on which we develop a stochastic collapsed inference algorithm. Our ELBO can be viewed as a posterior regularization objective. We show the advantage of our approach in both simulation and real-world applications.

研究动机与目标

• 为解决现有物理信息高斯过程方法依赖格林函数且仅限于线性方程的局限性。
• 实现在高斯过程中无需核卷积约束即可整合线性和非线性微分方程。
• 支持在物理信息高斯过程建模中使用高度表达性的核函数，如深度核。
• 开发一种高效的推断机制，通过边缘化隐变量并基于可处理的证据下界（ELBO）简化变分推断。

提出的方法

• 构建一个混合贝叶斯模型，将标准高斯过程与编码微分方程的生成模型耦合。
• 通过严谨的贝叶斯正则化方法，将微分方程约束整合到高斯过程框架中。
• 通过边缘化隐变量推导出简化的模型证据下界（ELBO），实现高效推断。
• 基于推导出的 ELBO 开发一种基于随机坍缩的推断算法，以优化模型参数。
• 将 ELBO 框架化为后验正则化目标，实现物理知识与任意核函数的灵活融合。
• 通过避免依赖解析格林函数，支持线性和非线性方程的处理。

实验结果

研究问题

• RQ1 我们能否在不依赖格林函数的情况下，将任意微分方程——线性或非线性——整合到高斯过程中？
• RQ2 我们如何实现在物理信息高斯过程模型中使用如深度核等表达性核函数？
• RQ3 我们能否开发一种高效推断方法，在边缘化隐变量的同时保持物理约束？
• RQ4 所提出的框架是否能提升在数据有限场景下的泛化与外推性能？

主要发现

• PRGP 在无需解析格林函数的情况下，成功将线性和非线性微分方程整合到高斯过程中。
• 通过避免核卷积约束，该方法支持使用任意核函数，包括深度核。
• 推导出的 ELBO 实现了高效的随机坍缩推断，显著简化了优化过程。
• 该方法在模拟和真实世界应用中均显示出在泛化与外推性能上的提升。