[论文解读] Tensor field networks: Rotation- and translation-equivariant neural networks for 3D point clouds

Nathaniel Thomas, Tess Smidt+5 more|arXiv (Cornell University)|Feb 22, 2018

3D Shape Modeling and Analysis参考文献 19被引用 564

一句话总结

介绍了对3D点云具有旋转和平移等变性的张量场网络，通过基于球面调和的滤波和 Clebsch-Gordan 张量积实现标量、向量和高阶张量输出。

ABSTRACT

We introduce tensor field neural networks, which are locally equivariant to 3D rotations, translations, and permutations of points at every layer. 3D rotation equivariance removes the need for data augmentation to identify features in arbitrary orientations. Our network uses filters built from spherical harmonics; due to the mathematical consequences of this filter choice, each layer accepts as input (and guarantees as output) scalars, vectors, and higher-order tensors, in the geometric sense of these terms. We demonstrate the capabilities of tensor field networks with tasks in geometry, physics, and chemistry.

研究动机与目标

• 在完整的旋转和平移等变性下动机于在3D欧几里得空间上学习，以减少数据增强并提高效率。
• 开发在点云上运行的通用架构，具有连续局部卷积和几何张量输出。
• 提供与 SO(3) 表示兼容的旋转等变构建块（点卷积、自相互作用、非线性）。
• 展示在几何、物理和化学中的应用，包括形状分类、动力学和分子结构生成。

提出的方法

• 定义接收带张量值特征的3D点集合并在每个点输出张量值特征的层。
• 将卷积滤波器约束为 F_{cm}^{(l_f,l_i)}(r) = R^{(l_f,l_i)}_{c}(r) Y_m^{(l_f)}( hat) 使用球面调和 Y_m^{(l)}，确保 SO(3) 等变。
• 通过使用Clebsch-Gordan系数将输入和滤波表示进行张量积，产生在 SO(3) 不可约表示下变换的输出。
• 证明点卷积、自相互作用和非线性在置换、平移和旋转下保持等变。
• 实现对应标量、向量和对称无应力张量的 l=0,1,2 表示，并在层级中按旋转阶数设定通道数。
• 在任务上展示：几何（无数据增强的形状分类）、物理（加速度和惯性张量）、化学（QM9 中缺失点生成）。

实验结果

研究问题

• RQ1 神经网络如何在每一层对3D旋转、平移和点置换具有局部等变性？
• RQ2 能否用球面调和与径向函数构建的滤波实现 SO(3) 等变性并支持标量、向量和高阶张量输出？
• RQ3 在几何、物理和化学任务中，张量场网络相对于非等变或部分等变模型的实际优势在哪里？
• RQ4 网络在对不同3D数据模态下实现旋转和平移不变输出的表现如何？

主要发现

原子	预测数量	准确度 (%)（≤0.5 Å 和原子类型）	距离MAE (Å)
5-18	15863	91.3 (train)	0.16
19	19000	93.9 (test)	0.14
23	23000	96.5 (test)	0.13
25-29	25356	97.3 (test)	0.16

• 张量场网络在每一层实现3D旋转和平移等变性。
• 具有旋转等变滤波器时，模型在每个点输出具有一致变换阶次的张量（标量、向量和高阶张量）。
• 在几何任务中，网络在单一方向上对3D形状进行分类，并在随机旋转/平移下保持准确性（无需旋转数据增强）。
• 在物理任务中，模型使用最少层就学习到牛顿加速度和惯性张量的径向行为。
• 在化学任务中，网络能够以高精度预测 QM9 结构中的缺失原子，并对分子大小具有良好泛化。
• 该方法可扩展到数百到数千个点，并可与现有的分子/有向图架构互补。