[论文解读] N-body Networks: a Covariant Hierarchical Neural Network Architecture for Learning Atomic Potentials

Risi Kondor|arXiv (Cornell University)|Mar 5, 2018

Machine Learning in Materials Science参考文献 17被引用 68

一句话总结

介绍 N-body networks，一种协变的分层神经结构，用于学习原子势能面，通过不可约表示和 Clebsch–Gordan 分解，确保 SO(3) 旋转协变性，并在傅里叶域进行运算。

ABSTRACT

We describe N-body networks, a neural network architecture for learning the behavior and properties of complex many body physical systems. Our specific application is to learn atomic potential energy surfaces for use in molecular dynamics simulations. Our architecture is novel in that (a) it is based on a hierarchical decomposition of the many body system into subsytems, (b) the activations of the network correspond to the internal state of each subsystem, (c) the "neurons" in the network are constructed explicitly so as to guarantee that each of the activations is covariant to rotations, (d) the neurons operate entirely in Fourier space, and the nonlinearities are realized by tensor products followed by Clebsch-Gordan decompositions. As part of the description of our network, we give a characterization of what way the weights of the network may interact with the activations so as to ensure that the covariance property is maintained.

研究动机与目标

• 激励在分子动力学中对原子势能面进行准确、可扩展学习的需求。
• 提出一种分层的、组装式神经网络架构，用显式旋转协变性建模子系统。
• 构建一个表征理论框架，保证网络中始终具有 SO(3) 协变性。
• 提供实用的聚合门控，保持对称性同时使多尺度相互作用的学习成为可能。

提出的方法

• 引入一种组合方案，其中节点携带物理子系统及在旋转下协变变换的内部状态。
• 通过群表示（不可约表示）和 Clebsch–Gordan 分解，定义 SO(3)-协变向量和同型分量。
• 构建一个多项式的、保持协变性的聚合函数 Phi，将输出表示为对不可约片段 phi^ell_m 的求和，并通过矩阵 W^ell 进行线性混合。
• 证明网络的非线性通过在傅里叶（频域）中计算的张量积和 Clebsch–Gordan 变换实现，避免时域的非线性。
• 提出 zeroth- 和 first-order 相互作用门控，以高效捕捉子系统之间的局部与成对相互作用，同时维持协变。
• 说明权重 W^ell 如何共享与学习，而 phi^ell_m 片段则由子状态和相对位置的张量积形成。

实验结果

研究问题

• RQ1 如何设计对于多体物理系统的神经网络，在空间旋转（SO(3)）方面达到严格协变？
• RQ2 在多个分层级别合并子系统时，哪些聚合规则（Phi）能保持 SO(3) 协变？
• RQ3 如何将表示理论（不可约表示、Clebsch–Gordan 分解）整合到神经网络架构中，以实现对原子势的高效、协变学习？
• RQ4 实用、可扩展的门控机制（zeroth 与 first order）是什么，能够在尊重对称性约束的同时捕捉局部与成对相互作用？

主要发现

• 提出 SO(3)-covariant N-body networks 其中每个节点表示带有位置的物理子系统及一个在 SO(3) 下变换的内部状态。
• 证明聚合必须分解为不可约片段，且混合仅限于同一角动量等级（ell）的片段以实现协变性（命题 1）。
• 证明非线性可以通过在傅里叶空间使用 Clebsch–Gordan 变换的张量积实现，消除了时域非线性成为瓶颈。
• 引入实用的门类型（zeroth 与 first order）以建模多尺度相互作用，同时不牺牲旋转协变。
• 提供一个形式化框架，将协变神经架构与群表示理论连接起来，使原子环境的多尺度可学习表征成为可能。