[论文解读] Semiempirical Hamiltonians learned from data can have accuracy comparable to Density Functional Theory

Frank Hu, Hanqing He+1 more|arXiv (Cornell University)|Oct 21, 2022

Machine Learning in Materials Science被引用 4

一句话总结

该论文提出DFTBML，一种基于密度泛函紧束缚（DFTB）的机器学习增强半经验量子化学模型，采用可学习的一维原子间距离函数。通过在保持物理可解释性形式的同时，利用数据驱动优化训练这些函数，该模型在计算成本仅为传统方法一小部分的情况下，实现了与CCSD(T)*/CBS水平相当的精度（误差约3 kcal/mol），优于传统半经验方法，并与DFT性能相当，且数据需求显著降低。

ABSTRACT

Quantum chemistry provides chemists with invaluable information, but the high computational cost limits the size and type of systems that can be studied. Machine learning (ML) has emerged as a means to dramatically lower cost while maintaining high accuracy. However, ML models often sacrifice interpretability by using components, such as the artificial neural networks of deep learning, that function as black boxes. These components impart the flexibility needed to learn from large volumes of data but make it difficult to gain insight into the physical or chemical basis for the predictions. Here, we demonstrate that semiempirical quantum chemical (SEQC) models can learn from large volumes of data without sacrificing interpretability. The SEQC model is that of Density Functional based Tight Binding (DFTB) with fixed atomic orbital energies and interactions that are one-dimensional functions of interatomic distance. This model is trained to ab initio data in a manner that is analogous to that used to train deep learning models. Using benchmarks that reflect the accuracy of the training data, we show that the resulting model maintains a physically reasonable functional form while achieving an accuracy, relative to coupled cluster energies with a complete basis set extrapolation (CCSD(T)*/CBS), that is comparable to that of density functional theory (DFT). This suggests that trained SEQC models can achieve low computational cost and high accuracy without sacrificing interpretability. Use of a physically-motivated model form also substantially reduces the amount of ab initio data needed to train the model compared to that required for deep learning models.

研究动机与目标

• 开发一种半经验量子化学模型，使其在保持物理可解释性的同时，达到与DFT相当的高精度。
• 通过将物理约束嵌入模型架构，降低深度学习模型通常所需的数据量。
• 证明在物理动机的哈密顿量（DFTB）中引入可学习参数，可在不牺牲可解释性的情况下实现化学精度。
• 证明仅需少量数据集（约23,000个构型）即可训练出性能达到饱和的模型，其性能瓶颈在于模型形式而非数据量。

提出的方法

• 模型采用DFTB哈密顿量，固定原子轨道能量，并以原子间距离的一维函数表示相互作用与重叠，通过具有100个节点的五阶样条函数进行参数化。
• 采用强正则化方案，防止训练过程中样条函数出现非物理振荡。
• 使用ANI-1CCX数据集对模型进行训练，该数据集包含C、H、N、O元素分子的从头算能量数据，最多含八个重原子，损失函数结合总能量、偶极矩和电荷预测，并采用加权损失项。
• 通过循环反演实现反向传播：将SCF循环与训练循环重构，使电荷波动与模型更新计算位于梯度下降路径之外，从而实现高效可微分的SCF。
• 每10个周期使用凸优化更新排斥势，确保全局收敛。
• 对原子化能应用线性参考能量校正，以实现与CCSD(T)*/CBS的公平比较，校正系数通过最小二乘拟合获得。

实验结果

研究问题

• RQ1 基于物理动机形式的半经验量子化学模型，在使用从头算数据训练时，能否实现与DFT相当的精度？
• RQ2 在DFTB框架中使用可学习样条函数，是否能在保持高精度的同时，相比深度学习模型显著降低数据需求？
• RQ3 在不损害预测性能的前提下，保持物理哈密顿量结构在多大程度上提升了模型的可解释性？
• RQ4 模型性能的瓶颈是模型形式本身，还是训练数据量？

主要发现

• DFTBML模型相对于CCSD(T)*/CBS参考数据的平均绝对误差（MAE）约为3 kcal/mol，精度与标准DFT泛函相当。
• 性能在约20,000个分子构型时达到饱和，表明模型精度受限于其函数形式而非数据量。
• 模型仅需约232,000个构型（相比深度学习模型约100万个）即可达到最优性能，显著降低了数据需求。
• 总能量预测的异常值率低于0.05%，表明模型在泛化能力上具有高度鲁棒性与稳定性。
• 使用凸优化更新排斥势，确保了全局收敛与稳定训练。
• 在保持物理形式合理性的同时，通过高阶样条函数与正则化，实现了对原子间相互作用的高灵敏度响应。