[论文解读] SchNet: A continuous-filter convolutional neural network for modeling quantum interactions

Kristof T. Schütt, Pieter-Jan Kindermans+4 more|arXiv (Cornell University)|Jun 26, 2017

Machine Learning in Materials Science参考文献 31被引用 470

一句话总结

SchNet 引入连续滤波卷积层来建模分子中的量子相互作用，从而实现能量预测与能量守恒的力场，遵循量子化学原理，在 QM9、MD17 和 ISO17 数据集上达到最先进的结果。

ABSTRACT

Deep learning has the potential to revolutionize quantum chemistry as it is ideally suited to learn representations for structured data and speed up the exploration of chemical space. While convolutional neural networks have proven to be the first choice for images, audio and video data, the atoms in molecules are not restricted to a grid. Instead, their precise locations contain essential physical information, that would get lost if discretized. Thus, we propose to use continuous-filter convolutional layers to be able to model local correlations without requiring the data to lie on a grid. We apply those layers in SchNet: a novel deep learning architecture modeling quantum interactions in molecules. We obtain a joint model for the total energy and interatomic forces that follows fundamental quantum-chemical principles. This includes rotationally invariant energy predictions and a smooth, differentiable potential energy surface. Our architecture achieves state-of-the-art performance for benchmarks of equilibrium molecules and molecular dynamics trajectories. Finally, we introduce a more challenging benchmark with chemical and structural variations that suggests the path for further work.

研究动机与目标

• 开发一个神经网络，在尊重旋转/平移不变性与能量守恒的前提下学习分子的能量与力场。
• 将神经网络扩展到非网格的、以原子为中心的数据，使用连续滤波卷积。
• 在具有化学与构型变化的基准数据上演示该方法（QM9、MD17、ISO17）。
• 证明在训练中加入力项能提升对化学空间的泛化能力。

提出的方法

• 引入通过滤波生成网络从原子间距离生成滤波的连续滤波卷积层（cfconv）。
• 以共享的原子类型嵌入对分子按原子逐点表示，并应用交互块通过 cfconv 和原子级层更新原子表示。
• 使用原子间距离的径向基展开以确保滤波的旋转不变性。
• 通过最小化包含能量项与力项的联合损失来训练，以实现总能量预测和原子力预测，确保能量守恒。
• 通过结构设计保证光滑、无旋 curl 的力场，从而得到旋转等变的力预测。
• 固定交互块的网络深度与特征图大小（F=64），并引入残差连接以实现对复杂多体表示的建模。

实验结果

研究问题

• RQ1 SchNet 是否能够在平衡分子数据集（QM9）上实现能量预测的最先进水平？
• RQ2 SchNet 对分子动力学轨迹（MD17）以及化学多样、结构变化的数据（ISO17）的能量与力预测表现如何？
• RQ3 与仅训练能量相比，使用力进行训练是否提升了对化学空间的泛化能力？
• RQ4 学习到的能量表面是否光滑且能量守恒，且保持旋转不变性与平移不变性？
• RQ5 是否可以用一个统一模型表示多分子间的化学和构象变异？

主要发现

• SchNet 在 QM9 能量预测方面达到最先进的均方误差（MAE），在训练样本数为 110k 时达到 0.31 kcal/mol。
• 在 MD17 上，仅使用能量或能量+力的 SchNet 与 GDML 和 DTNN 相比，在多个轨迹上展现出有竞争力或更优的能量和力预测，且在较大训练集时表现更突出。
• 使用力进行训练显著提升对 MD17 的预测性能，尤其对于具有柔性分子的情况，且 SchNet 仍能扩展到更大分子和数据集。
• 在 ISO17 上，SchNet 对已知分子达到化学精度，在训练中加入力后泛化能力得到改善，能够同时处理化学变异与构象变异。
• 在 QM9、MD17 和 ISO17 的对照中，SchNet 能产生光滑、能量守恒的力场与旋转不变的能量预测，展示该模型对基本量子化学原理的遵循。