[论文解读] Physics-informed Convolutional Neural Networks for Temperature Field Prediction of Heat Source Layout without Labeled Data

Xiaoyu Zhao, Zhiqiang Gong+3 more|arXiv (Cornell University)|Sep 26, 2021

Model Reduction and Neural Networks参考文献 28被引用 11

一句话总结

本文提出一种物理信息卷积神经网络（PINN），无需标注的仿真数据，即可从热源布局预测稳态温度场。通过有限差分方法嵌入热传导方程，并利用反射填充强制施加边界约束，该模型能够学习求解一整类PDE，预测精度与有限差分法及数据驱动模型相当。

ABSTRACT

Recently, surrogate models based on deep learning have attracted much attention for engineering analysis and optimization. As the construction of data pairs in most engineering problems is time-consuming, data acquisition is becoming the predictive capability bottleneck of most deep surrogate models, which also exists in surrogate for thermal analysis and design. To address this issue, this paper develops a physics-informed convolutional neural network (CNN) for the thermal simulation surrogate. The network can learn a mapping from heat source layout to the steady-state temperature field without labeled data, which equals solving an entire family of partial difference equations (PDEs). To realize the physics-guided training without labeled data, we employ the heat conduction equation and finite difference method to construct the loss function. Since the solution is sensitive to boundary conditions, we properly impose hard constraints by padding in the Dirichlet and Neumann boundary conditions. In addition, the neural network architecture is well-designed to improve the prediction precision of the problem at hand, and pixel-level online hard example mining is introduced to overcome the imbalance of optimization difficulty in the computation domain. The experiments demonstrate that the proposed method can provide comparable predictions with numerical method and data-driven deep learning models. We also conduct various ablation studies to investigate the effectiveness of the network component and training methods proposed in this paper.

研究动机与目标

• 为解决热仿真代理建模中数据获取瓶颈问题，即标注仿真数据生成成本高昂。
• 开发一种深度学习代理模型，可从热源布局预测温度场，而无需成对的训练数据。
• 通过基于有限差分的损失函数，将物理定律（热传导PDE）直接融入训练过程。
• 通过反射填充强制施加狄利克雷与诺伊曼边界条件，提升模型收敛性与精度。
• 通过像素级在线难样本挖掘与精心设计的U-Net架构卷积神经网络，提升优化稳定性与预测精度。

提出的方法

• 模型采用U-Net架构的卷积神经网络，将离散的热源布局（输入）映射为温度场预测（输出），将两者均视为二维空间网格。
• 基于稳态热传导PDE的有限差分近似构建物理信息损失函数，对域内残差违反情况进行惩罚。
• 通过反射填充实现狄利克雷与诺伊曼边界条件的硬约束，防止病态解并加速收敛。
• 应用像素级在线难样本挖掘，以平衡域内各区域的优化难度，使训练聚焦于预测误差更高的区域。
• 采用组归一化（GN）、双线性上采样与GELU激活函数，以提升训练稳定性和预测精度。
• 模型通过反向传播端到端训练，物理信息损失引导网络在无标注数据下满足PDE与边界条件。

实验结果

研究问题

• RQ1 物理信息卷积神经网络能否在无任何标注仿真数据的情况下，从热源布局预测温度场？
• RQ2 通过反射填充强制施加硬边界条件，对模型收敛性与精度有何影响？
• RQ3 不同网络组件（归一化、上采样、激活函数）对预测性能有何影响？
• RQ4 在线难样本挖掘如何提升异质域中优化的稳定性与预测精度？
• RQ5 所提方法能否在热力代理建模中实现与数值求解器及数据驱动模型相当的预测精度？

主要发现

• 所提方法在两个不同测试案例中分别达到0.0108与0.0275的测试平均绝对误差（MAE），与有限差分法（FDM）结果相当。
• 反射填充优于零填充，能降低边界损失值并防止误差扩散，显著提升整体预测精度。
• 组归一化（GN）显著优于批归一化（BN）与实例归一化（IN），GN展现出最稳定且准确的性能。
• 双线性上采样在两个测试案例中均优于转置卷积，带来更准确且更平滑的温度场预测。
• GN、双线性上采样与GELU激活函数的组合实现最佳性能，相比BN与ReLU，测试MAE降低56%。
• 较小的批量大小（如1）比更大的批量大小（如16）收敛更好且MAE更低，表明更多训练步数有助于该任务的模型学习。