[论文解读] Scalars are universal: Equivariant machine learning, structured like classical physics

Soledad Villar, David W. Hogg+3 more|arXiv (Cornell University)|Jun 11, 2021

Computational Physics and Python Applications被引用 34

一句话总结

该工作表明，在欧几里得、洛伦兹和庞加莱对称性下，广泛一类的等变函数可以仅通过不变的标量积与张量收缩来实现普遍近似，从而实现可扩展的基于标量的神经网络架构。

ABSTRACT

There has been enormous progress in the last few years in designing neural networks that respect the fundamental symmetries and coordinate freedoms of physical law. Some of these frameworks make use of irreducible representations, some make use of high-order tensor objects, and some apply symmetry-enforcing constraints. Different physical laws obey different combinations of fundamental symmetries, but a large fraction (possibly all) of classical physics is equivariant to translation, rotation, reflection (parity), boost (relativity), and permutations. Here we show that it is simple to parameterize universally approximating polynomial functions that are equivariant under these symmetries, or under the Euclidean, Lorentz, and Poincaré groups, at any dimensionality $d$. The key observation is that nonlinear O($d$)-equivariant (and related-group-equivariant) functions can be universally expressed in terms of a lightweight collection of scalars -- scalar products and scalar contractions of the scalar, vector, and tensor inputs. We complement our theory with numerical examples that show that the scalar-based method is simple, efficient, and scalable.

研究动机与目标

• 激励构建在多个群和维度上均尊重严格物理对称性的机器学习模型。
• 使用标量积和收缩来表征并参数化经典物理对称性的所有不变量与等变函数。
• 提供一个可扩展的、普适框架，能够在多组上绕过显式的不可约表示分解。

提出的方法

• 证明通过第一基本定理，不变量标量函数足以描述 O(d) 与 Lorentz 不变标量。
• 证明 O(d) 与 O(1,d)-等变向量函数可以表示为不变量标量函数之和乘以输入向量的形式（h(v1,...,vn)=sum_t f_t(...) v_t）。
• 将表征扩展到 SO(d)，使用广义叉乘，并在需要时处理特殊张成情况。
• 扩展到欧几里得和庞加莱群，包括平移与洛伦兹不变性，并给出相应的标量系数函数。
• 给出命题与引理（如第一基本定理、平移不变性化简等），以形式化参数化。
• 将理论与实际神经网络设计相关联，并讨论使用标量而非完整不可约表示的潜在近似。

实验结果

研究问题

• RQ1 在经典物理对称性下，所有不变量和等变函数能否仅通过标量积和收缩来捕获？
• RQ2 如何在神经网络中实现这样的基于标量的表征，以在不依赖不可约表示的情况下实现普遍近似？
• RQ3 生成所有不变量/等变映射的精确数学形式与条件是什么（对于 O(d)、SO(d)、Lorentz、Poincaré、平移和置换）？
• RQ4 将此以标量为中心的方法应用于现实物理问题时的局限性与实际考虑因素有哪些？

主要发现

• 在欧几里得、洛伦兹和庞加莱群下，广泛的一类不变量与等变函数可以仅通过不变量标量和线性标量收缩来表达。
• O(d) 和 O(1,d)-等变向量函数可以表示为标量系数函数与输入向量的乘积之和，且多项式情形仍为多项式。
• 对于 SO(d)，广义叉积将标量-收缩框架扩展以捕获所有等变向量，除在特定张成配置下需要额外项来处理。
• 该方法提供一个简单、可扩展的架构，能够普遍近似等变函数，提供一个有理论依据的替代代表理论密集方法。
• 通过将其简化为闵可夫斯基内积的不变量标量函数，可以包含平移与洛伦兹不变量，保持在庞加莱作用下的等变性。
• 该框架通过将它们的分量显示为不变量标量乘以向量，与现有物理启发表达式（如能量、电磁力）相连接。