[论文解读] Scaling up Deep Learning for PDE-based Models

Philipp Haehnel, Jakub Mareček+2 more|arXiv (Cornell University)|Sep 27, 2018

Hydrological Forecasting Using AI参考文献 53被引用 2

一句话总结

本文提出一种方法，通过在小尺度区域使用PDE求解器训练深度学习模型，再通过在边界施加一致性约束，将模型扩展到更大区域，从而确保解的物理合理性。该方法使在训练数据仅限于小空间区域的情况下，也能实现对爱尔兰都柏林市空气质量污染的精确预测。

ABSTRACT

In numerous applications, forecasting relies on numerical solvers for partial differential equations (PDEs). Although the use of deep-learning techniques has been proposed, the uses have been restricted by the fact the training data are obtained using PDE solvers. Thereby, the uses were limited to domains, where the PDE solver was applicable, but no further. We present methods for training on small domains, while applying the trained models on larger domains, with consistency constraints ensuring the solutions are physically meaningful even at the boundary of the small domains. We demonstrate the results on an air-pollution forecasting model for Dublin, Ireland.

研究动机与目标

• 解决基于PDE的深度学习模型在PDE求解器计算上可行的区域之外受限的问题。
• 克服将训练好的模型从小型训练区域外推到更大、真实世界区域时失去物理一致性的挑战。
• 确保在将训练模型扩展到更大区域时，解在区域边界处仍保持物理合理性。
• 在真实世界应用中展示该方法的可行性和准确性：对爱尔兰都柏林市的空气质量污染进行预测。

提出的方法

• 使用PDE求解器提供的数值解，在小尺度、计算上可处理的区域内训练深度学习模型。
• 在小区域的边界施加一致性约束，以确保模型预测在扩展到更大区域时仍保持物理有效性。
• 在训练过程中利用一致性约束对模型进行正则化，使其预测与基于PDE的物理定律保持一致。
• 通过强制执行边界一致性，将训练好的模型迁移至更大区域，实现对原始训练区域之外的泛化。
• 利用学习到的表征实现无需在全区域重新训练即可进行准确的长程预测。

实验结果

研究问题

• RQ1 能否在保持物理一致性的前提下，有效将基于小区域训练的深度学习模型扩展到更大区域？
• RQ2 在区域边界施加的一致性约束在PDE基预测中如何提升模型预测的可靠性？
• RQ3 该方法在实际应用中在多大程度上可减少对大规模PDE求解器计算的需求？
• RQ4 该方法在真实世界环境预测任务（如空气质量预测）中具有多好的泛化能力？

主要发现

• 所提出的方法成功实现了在小区域训练并在更大区域部署，同时保持了解的物理合理性。
• 在区域边界施加的一致性约束显著提升了模型在扩展区域中的预测准确性和可靠性。
• 尽管仅在较小的空间子集上进行训练，该模型仍能实现对爱尔兰都柏林市空气质量污染的精确预测。
• 通过利用学习到的可扩展表征，该方法减少了对大规模区域中计算成本高昂的PDE求解器的依赖。