[论文解读] Weakly-Supervised Deep Learning of Heat Transport via Physics Informed Loss

Rishi Sharma, Amir Barati Farimani+3 more|arXiv (Cornell University)|Jul 24, 2018

Model Reduction and Neural Networks参考文献 20被引用 30

一句话总结

本文提出一种弱监督深度学习方法，通过仅利用物理约束编码的PDE，无需任何标注数据，训练卷积神经网络求解二维热方程。通过设计一种具有可学习卷积核的物理信息损失函数，以强制执行局部平衡条件（每个点等于其邻居的平均值），模型在1024×1024热分布问题上实现了低于1.5%的误差，并通过神经网络热启动显著加速有限差分求解器。

ABSTRACT

In typical machine learning tasks and applications, it is necessary to obtain or create large labeled datasets in order to to achieve high performance. Unfortunately, large labeled datasets are not always available and can be expensive to source, creating a bottleneck towards more widely applicable machine learning. The paradigm of weak supervision offers an alternative that allows for integration of domain-specific knowledge by enforcing constraints that a correct solution to the learning problem will obey over the output space. In this work, we explore the application of this paradigm to 2-D physical systems governed by non-linear differential equations. We demonstrate that knowledge of the partial differential equations governing a system can be encoded into the loss function of a neural network via an appropriately chosen convolutional kernel. We demonstrate this by showing that the steady-state solution to the 2-D heat equation can be learned directly from initial conditions by a convolutional neural network, in the absence of labeled training data. We also extend recent work in the progressive growing of fully convolutional networks to achieve high accuracy (< 1.5% error) at multiple scales of the heat-flow problem, including at the very large scale (1024x1024). Finally, we demonstrate that this method can be used to speed up exact calculation of the solution to the differential equations via finite difference.

研究动机与目标

• 通过利用物理定律作为弱监督，减少深度学习对大规模标注数据集的依赖。
• 使神经网络能够在无任何真实标签的情况下学习二维热方程的稳态解。
• 证明可通过可学习卷积核从数据中发现物理系统背后的PDE。
• 通过使用训练好的神经网络作为初始值，加速有限差分求解器。
• 将全卷积渐进生长方法扩展至高分辨率物理模拟（最高达1024×1024），并施加物理信息约束。

提出的方法

• 设计一种物理信息损失函数，使用可学习卷积核编码二维热方程的离散形式。
• 使用3×3卷积核强制执行局部平衡规则：每个像素的值应等于其四个邻居的平均值。
• 通过Adam优化训练网络，以最小化图像上核输出的绝对值，从而有效减少对PDE约束的偏离。
• 应用全卷积网络的渐进生长方法，将模型扩展至1024×1024高分辨率热分布问题。
• 使用训练好的神经网络为有限差分求解器生成初始猜测，从而减少收敛时间。
• 通过与高精度真实值对比，验证方法在有限差分求解器中误差收敛的表现。

实验结果

研究问题

• RQ1 深度神经网络是否能在仅通过强制执行PDE约束而无任何标注数据的情况下，学习到二维热方程的稳态解？
• RQ2 可学习卷积核是否能仅从数据中发现定义热方程的局部规则（如邻居平均值）？
• RQ3 与标准初始化策略相比，物理信息神经网络在多大程度上能加速有限差分求解器？
• RQ4 通过全卷积网络的渐进生长方法，该方法在高分辨率物理模拟（如1024×1024）中的表现如何？
• RQ5 是否可行通过PDE约束的弱监督方式，从未知物理系统的数据中发现其控制方程？

主要发现

• 仅使用物理信息损失且无标注数据，模型在1024×1024热分布问题上实现了低于1.5%的平均像素误差。
• 学习到的卷积核与二维热方程的理想3×3核高度接近（例如，中心值-0.2181，邻居值0.0545），证明成功发现了底层PDE规则。
• 当用作热启动时，神经网络的输出显著减少了有限差分求解器的收敛迭代次数，相比常数初始化大幅加速了求解过程。
• 通过全卷积网络的渐进生长方法，该方法成功扩展至高分辨率问题（1024×1024），并保持了高精度。
• 该方法实现了端到端的神经网络训练以求解PDE，无需任何标注数据，仅依赖损失函数中对物理约束的强制执行。
• 与基线初始化相比，使用神经网络输出初始化的有限差分求解器在每次迭代中均表现出更快的收敛速度和更低的误差，经高精度真实值验证。