[论文解读] Physics-Informed Diffusion Models

Jan-Hendrik Bastek, WaiChing Sun+1 more|arXiv (Cornell University)|Mar 21, 2024

Advanced Mathematical Modeling in Engineering被引用 8

一句话总结

PIDMs 将去噪扩散模型与物理约束相统一，通过在训练中嵌入 PDE 残差，大幅降低 PDE 残差并提升 Darcy 流动和拓扑优化的鲁棒性。该方法保持生成多样性且不依赖后处理。

ABSTRACT

Generative models such as denoising diffusion models are quickly advancing their ability to approximate highly complex data distributions. They are also increasingly leveraged in scientific machine learning, where samples from the implied data distribution are expected to adhere to specific governing equations. We present a framework that unifies generative modeling and partial differential equation fulfillment by introducing a first-principle-based loss term that enforces generated samples to fulfill the underlying physical constraints. Our approach reduces the residual error by up to two orders of magnitude compared to previous work in a fluid flow case study and outperforms task-specific frameworks in relevant metrics for structural topology optimization. We also present numerical evidence that our extended training objective acts as a natural regularization mechanism against overfitting. Our framework is simple to implement and versatile in its applicability for imposing equality and inequality constraints as well as auxiliary optimization objectives.

研究动机与目标

• 将基于扩散的生成建模与物理信息学习相结合，通过直接在训练中引入 PDE 约束来桥接。
• 展示相较于现有基于扩散的方法，PDE 残差降低和泛化性提升。
• 展示对等式/不等式约束及辅助目标的适用性，同时保持采样多样性。
• 提供实用、可实现的训练步骤，对标准扩散模型管线的修改最小。

提出的方法

• 从离散化 PDE 和边界条件定义残差 R(x0)。
• 引入带有分布 qR(r̂|x0) = N(R(x0), σ^2 I) 的虚拟残差可观测量 r̂，并最大化其似然。
• 用一个物理信息损失项扩展标准扩散目标，该项对 x0 估计的 PDE 残差进行惩罚。
• 使用均值估计或基于 DDIM 的采样来计算用于残差评估的 x0*，并用可调的缩放系数 c 来平衡损失。
• 构造 PIDM 损失：LPIDM(θ) = E_t,x0:T∼q [ λt||x0−x̃0(xt,t)||^2 + (1/(2Σ̄t))||R(x̃0(xt,t))||^2 ]，并通过对标准管线作最小改动进行训练。
• 提供两种训练策略：均值估计（PIDM-ME）和样本估计（PIDM-SE）。
• 演示对等式与不等式约束的适用性，并讨论对代理模型的扩展。

实验结果

研究问题

• RQ1 PDE 约束能否直接在扩散模型训练目标中强制，以提高生成样本的物理保真度？
• RQ2 将基于残差的物理损失纳入对数据可能性、过拟合和样本多样性的影响？
• RQ3 PIDMs 是否在不同物理领域（如流体流动和结构拓扑）上泛化，而不改变推理时的过程？
• RQ4 残差损失权重和采样策略（均值与 DDIM）对残差实现和生成性能的影响？

主要发现

模型	尺寸	分布内 RMAE ↓	MDN % CE ↓	% VFE ↓	分布外 RMAE ↓	MDN % CE ↓	% VFE ↓
Diffusion	136M	1.86e-3	-0.2	2.93	1.97e-3	0.3	2.80
PG-Diffusion (Shu et al., 2023)	136M	1.82e-3	0.09	3.59	1.92e-3	0.81	3.23
CoCoGen (Jacobsen et al., 2024)	136M	1.51e-3	0.14	4.00	1.56e-3	0.58	3.64
TopoDiff-G (Mazé & Ahmed, 2023)	239M	-	0.83	1.49	-	1.82	1.80
DOM* (Giannone et al., 2023)	121M	-	0.74	1.52	-	3.47	1.59
PIDM (ours)	136M	1.24e-3	0.06	2.25	1.29e-3	0.56	1.91

• PIDM 将 PDE 残差降低约两个数量级，相较于 Darcy 流动案例中的标准扩散模型。
• PIDM 在残差最小化和拓扑优化相关指标方面优于最先进的物理引导扩散方法和依赖代理模型的框架。
• 均值估计在残差和抑制过拟合方面比单独的标准扩散效果更好；样本估计在残余性能方面也具有强劲表现，推断成本适中。
• PIDM 在强制 PDE 兼容的同时保持样本多样性并忠实再现数据分布，而不需要额外的代理模型来进行推断。
• 拓扑优化结果显示，在分布内和分布外边界条件下，残差和合规性最小化相比竞争方法有显著改进。
• 该方法可作为防止过拟合的正则化器，并提供一种简单、可适应的路径来强制等式和不等式约束。