[论文解读] Utilising physics-guided deep learning to overcome data scarcity

Jinshuai Bai, Laith Alzubaidi+4 more|arXiv (Cornell University)|Nov 24, 2022

Anomaly Detection Techniques and Applications被引用 8

一句话总结

本文提出物理引导的深度学习（PGDL）作为解决机器学习中数据稀缺问题的方案，通过将物理定律整合到神经网络训练中。通过将守恒定律和系统动力学嵌入损失函数，PGDL即使在数据有限的情况下也能实现高精度和良好的泛化能力，尤其适用于物理、工程和医疗应用。

ABSTRACT

Deep learning (DL) relies heavily on data, and the quality of data influences its performance significantly. However, obtaining high-quality, well-annotated datasets can be challenging or even impossible in many real-world applications, such as structural risk estimation and medical diagnosis. This presents a significant barrier to the practical implementation of DL in these fields. Physics-guided deep learning (PGDL) is a novel type of DL that can integrate physics laws to train neural networks. This can be applied to any systems that are controlled or governed by physics laws, such as mechanics, finance and medical applications. It has been demonstrated that, with the additional information provided by physics laws, PGDL achieves great accuracy and generalisation in the presence of data scarcity. This review provides a detailed examination of PGDL and offers a structured overview of its use in addressing data scarcity across various fields, including physics, engineering and medical applications. Moreover, the review identifies the current limitations and opportunities for PGDL in relation to data scarcity and offers a thorough discussion on the future prospects of PGDL.

研究动机与目标

• 解决医学诊断和结构风险估计等实际应用中的数据稀缺挑战。
• 克服传统深度学习对大规模高质量数据集的严重依赖。
• 证明将物理定律整合到深度学习模型中可提升数据稀缺条件下的性能。
• 全面回顾PGDL在物理、工程和医疗领域中的应用。
• 识别PGDL在数据稀缺环境下的当前局限性和未来研究方向。

提出的方法

• 将控制物理定律（如质量、动量、能量守恒）整合到深度神经网络的损失函数中。
• 使用物理信息约束来正则化训练过程，降低对标注数据的依赖。
• 使用稀疏数据和物理定律残差联合训练神经网络，以提升泛化能力。
• 将损失函数表述为数据损失与物理损失的加权和，确保与已知物理行为的一致性。
• 将该框架应用于受偏微分方程或力学原理支配的各类系统。
• 通过力学、金融和生物医学建模中的基准问题验证模型性能。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，物理引导的深度学习如何提升模型性能？
• RQ2 嵌入深度学习架构中的哪些物理定律最为有效？
• RQ3 在医学影像或结构工程等实际领域中，PGDL在数据稀缺条件下展现出最大优势的场景是什么？
• RQ4 与标准深度学习相比，PGDL在小样本数据集下的泛化能力和鲁棒性如何？
• RQ5 将PGDL扩展到复杂、高维系统时，其关键局限性和开放挑战是什么？

主要发现

• 物理引导的深度学习在数据稀缺场景下显著提升了模型精度和泛化能力。
• 将物理定律整合到损失函数中，即使在标注数据极少的情况下也能实现可靠预测。
• PGDL在结构风险估计和医学诊断等数据采集困难的应用中表现出色。
• 该方法在受偏微分方程支配的不同物理系统中均展现出良好的泛化性能。
• 尽管前景广阔，原始手稿因章节不完整和文献覆盖过时而被撤回。
• 作者计划对综述进行修订，并重新提交一份更新后的版本，以反映该领域的最新进展。