[论文解读] Relevance of Rotationally Equivariant Convolutions for Predicting Molecular Properties

B. Miller, Mario Geiger+2 more|arXiv (Cornell University)|Aug 19, 2020

Machine Learning in Materials Science参考文献 27被引用 45

一句话总结

该论文比较在 e3nn 中的旋转不变层与等变层（L0Nets 与 L1Nets）在 QM9 上的表现，发现角度特征在固定深度下平均将测试误差降低23%，而提高深度仅带来4%的提升。

ABSTRACT

Equivariant neural networks (ENNs) are graph neural networks embedded in $\mathbb{R}^3$ and are well suited for predicting molecular properties. The ENN library e3nn has customizable convolutions, which can be designed to depend only on distances between points, or also on angular features, making them rotationally invariant, or equivariant, respectively. This paper studies the practical value of including angular dependencies for molecular property prediction directly via an ablation study with exttt{e3nn} and the QM9 data set. We find that, for fixed network depth and parameter count, adding angular features decreased test error by an average of 23%. Meanwhile, increasing network depth decreased test error by only 4% on average, implying that rotationally equivariant layers are comparatively parameter efficient. We present an explanation of the accuracy improvement on the dipole moment, the target which benefited most from the introduction of angular features.

研究动机与目标

• 评估 SE(3) 网络中的角度（等变）特征是否相对于仅基于距离的（不变）特征提升分子性质预测的效果。
• 在固定模型容量下量化 L0Nets 与 L1Nets 在 QM9 上的性能提升。
• 理解深度与角度信息在用于分子数据的等变神经网络中的预测准确性之关系。

提出的方法

• 使用带有 SE(3) 等变点模组的 e3nn 库来构建 L0Net（不变）和 L1Net（等变）架构。
• 将分子表示为包含原子位置和元素特征的集合，并强制实现旋转、平移和置换不变性。
• 比较内部特征是否旋转（u1 != 0）与不旋转（u1 = 0）的模型。
• 在 QM9 的标量性质上训练和评估，分析固定深度和参数数量时的平均测试误差差异。
• 用 F^h = vec(F^h_ell=0 ⊕ F^h_ell=1) 表示层更新，并通过 R 在特征上的作用（分块矩阵形式）来分析旋转作用。
• 将结果解读聚焦于偶极矩预测性能，作为角度特征带来显著提升的目标。

实验结果

研究问题

• RQ1 在 SE(3) 等变网络中包含角度特征对预测分子标量性质相比仅基于距离的不变层是否有益？
• RQ2 深度和角度特征如何相互作用以影响 QM9 上的预测准确性？

主要发现

• 角度特征在固定深度与参数数量下将测试误差平均降低23%。
• 增加网络深度平均仅降低4%的测试误差。
• 旋转等变层在参数效率方面具有相对优势。
• 偶极矩预测最受益于角度特征的引入。
• L0Nets（不变层）与 L1Nets（等变层）在内部特征是否旋转方面存在差异，进而影响性能。
• 该研究将 ENN 定位于 QM9，强调角度信息在分子性质回归中的价值。