[论文解读] Physics-constrained neural differential equations for learning multi-ionic transport

Danyal Rehman, John H. Lienhard|arXiv (Cornell University)|Mar 7, 2023

Fuel Cells and Related Materials被引用 4

一句话总结

该论文提出了一种物理约束的神经微分方程模型，通过整合神经ODE与连续介质物理模型及实验数据，学习聚酰胺纳米孔中的多离子输运。该方法利用电荷守恒、离子活度系数和分配机制作为归纳偏置，通过在模拟数据上预训练并在噪声增强的真实测量数据上微调，与实验排斥数据表现出高度一致。

ABSTRACT

Continuum models for ion transport through polyamide nanopores require solving partial differential equations (PDEs) through complex pore geometries. Resolving spatiotemporal features at this length and time-scale can make solving these equations computationally intractable. In addition, mechanistic models frequently require functional relationships between ion interaction parameters under nano-confinement, which are often too challenging to measure experimentally or know a priori. In this work, we develop the first physics-informed deep learning model to learn ion transport behaviour across polyamide nanopores. The proposed architecture leverages neural differential equations in conjunction with classical closure models as inductive biases directly encoded into the neural framework. The neural differential equations are pre-trained on simulated data from continuum models and fine-tuned on independent experimental data to learn ion rejection behaviour. Gaussian noise augmentations from experimental uncertainty estimates are also introduced into the measured data to improve model generalization. Our approach is compared to other physics-informed deep learning models and shows strong agreement with experimental measurements across all studied datasets.

研究动机与目标

• 开发一种深度学习模型，准确预测高度选择性的聚酰胺纳米孔中的离子输运与排斥，而无需完全依赖昂贵的实验。
• 解决在纳米限域条件下复杂不规则纳米孔几何结构的PDE求解计算不可行性问题。
• 将物理定律（如电荷守恒和离子分配机制）作为归纳偏置，直接嵌入神经架构中。
• 通过在模拟连续介质模型数据上预训练并在独立实验数据上进行高斯噪声增强的微调，提升模型泛化能力。
• 利用单一统一框架，准确预测多样化离子混合物和浓度条件下的离子选择性。

提出的方法

• 神经常微分方程（NODEs）对沿通量的离子浓度连续演化进行参数化，隐藏状态动态由可学习的ODE控制：$ \frac{d\mathbf{h}(J_v)}{dJ_v} = f_\theta(\mathbf{h}(J_v), J_v; \theta) $。
• 通过物理约束嵌入归纳偏置：电荷守恒 $ \sum_{j=1}^{d} z_j \mathbf{h}_j(J_v) = 0 $，Pitzer-Kim活度系数，以及三段边界条件（位阻、介电、Donnan排斥）。
• 模型在由DSPM-DE连续介质模型生成的模拟数据上进行预训练，该模型通过耦合PDE求解离子通量、电势和浓度，并采用欠松弛方案以实现收敛。
• 通过模拟退火和Nelder-Mead优化潜在膜参数（$ r_p, \Delta x_e, \zeta_p, \chi_d $），使其与实验排斥数据匹配，从而构成合成训练数据的基础。
• 微调使用带有高斯噪声的真实实验数据，以提升对未见浓度输入的鲁棒性和泛化能力。
• 通过连续伴随法实现对ODE求解器的反向传播，积分通过Dormand–Prince 5(4)方法完成，使用PyTorch和SciPy实现。

实验结果

研究问题

• RQ1 物理信息神经ODE模型是否能在不直接测量所有离子相互作用参数的情况下，准确学习聚酰胺纳米孔中的离子输运行为？
• RQ2 在有限实验数据上微调后，嵌入物理约束的神经ODE在多样化离子混合物和浓度范围内的泛化能力如何？
• RQ3 通过噪声增强引入实验不确定性在多大程度上能提升模型的鲁棒性和预测准确性？
• RQ4 将机理闭合模型（如Pitzer-Kim、Donnan排斥）整合到神经框架中，是否能在预测离子排斥方面优于纯数据驱动或纯物理模型？
• RQ5 潜在膜参数的混合优化在实现基于仿真的预训练以支持下游微调方面有多高效？

主要发现

• 物理约束的神经ODE模型在所有测试数据集上均与实验离子排斥数据高度一致，表现出高预测精度。
• 在DSPM-DE模型生成的模拟数据上进行预训练，使神经ODE能够以最少的微调在真实数据上学习复杂的离子输运动力学。
• 基于实验不确定性估计的高斯噪声增强显著提升了模型的泛化能力，并增强了对输入变化的鲁棒性。
• 该模型成功将关键物理机制——电荷守恒、位阻排斥、介电效应和Donnan排斥——编码到神经架构中，确保预测结果具有物理解释性。
• 通过模拟退火和Nelder-Mead优化潜在参数，获得一致结果：$ r_p = 0.51 \, \text{nm} $，$ \Delta x_e = 1.27 \, \mu\text{m} $，$ \zeta_p = 43.56 $，$ \chi_d = -51.23 \, \text{mol/m}^3 $，并用于生成高保真度训练数据。
• 该模型在预测离子排斥方面优于其他物理信息深度学习基线模型，尤其在具有非理想行为的复杂多离子体系中表现更优。