[论文解读] Theoretical Aspects of Group Equivariant Neural Networks

Carlos Esteves|arXiv (Cornell University)|Apr 10, 2020

Medical Imaging and Analysis参考文献 31被引用 25

一句话总结

本文为群等变卷积神经网络（G-CNNs）提供了全面的理论基础，证明在紧致群下，神经网络的群等变性等价于卷积结构。通过统一群表示理论、调和分析与微分几何的概念，本文形式化了SO(3)与SE(3)等变网络，证明等变性意味着群卷积架构的存在，从而实现对旋转对称数据（如球面和三维体数据）的参数高效学习。

ABSTRACT

Group equivariant neural networks have been explored in the past few years and are interesting from theoretical and practical standpoints. They leverage concepts from group representation theory, non-commutative harmonic analysis and differential geometry that do not often appear in machine learning. In practice, they have been shown to reduce sample and model complexity, notably in challenging tasks where input transformations such as arbitrary rotations are present. We begin this work with an exposition of group representation theory and the machinery necessary to define and evaluate integrals and convolutions on groups. Then, we show applications to recent SO(3) and SE(3) equivariant networks, namely the Spherical CNNs, Clebsch-Gordan Networks, and 3D Steerable CNNs. We proceed to discuss two recent theoretical results. The first, by Kondor and Trivedi (ICML'18), shows that a neural network is group equivariant if and only if it has a convolutional structure. The second, by Cohen et al. (NeurIPS'19), generalizes the first to a larger class of networks, with feature maps as fields on homogeneous spaces.

研究动机与目标

• 使用表示理论与调和分析的工具，为群等变神经网络建立严格的理论框架。
• 形式化在紧致群及其齐性空间上进行积分与卷积所需的数学工具。
• 展示近期G-CNN（如球面CNN、3D可旋转CNN）如何建立在此理论基础之上。
• 统一并推广先前关于神经网络中等变性与卷积结构的研究成果。
• 为在非欧几里得空间（如球面与三维体）上设计等变模型提供一致的理论基础。

提出的方法

• 利用群表示理论定义紧致李群（如SO(3)、SU(2)、SL(2,C)）的不可约表示。
• 应用哈尔测度对紧致群进行积分，实现不变积分与卷积操作。
• 应用Peter-Weyl定理将L²(G)函数分解为不可约表示，实现群上的傅里叶分析。
• 推导紧致群上的卷积定理，表明群卷积在傅里叶域中对应于逐点乘法。
• 在齐性空间（如S²）上应用调和分析，定义球面卷积与互相关运算。
• 通过纤维丛与齐性空间作用，将等变性推广至基于场的网络，将先前结果扩展至更广泛的架构。

实验结果

研究问题

• RQ1 在何种数学条件下，神经网络在紧致群作用下保持等变性？
• RQ2 如何将卷积操作从欧几里得空间推广至群与齐性空间（如SO(3)与S²）？
• RQ3 群等变性与神经网络中卷积结构之间的精确关系是什么？
• RQ4 不可约表示与特殊函数（如球谐函数）在群上调和分析的背景下如何自然出现？
• RQ5 该等变网络理论能否超越标准CNN，扩展至将特征图视为齐性空间上场的模型？

主要发现

• 神经网络是群等变的，当且仅当其具有卷积结构，该结论由Kondor与Trivedi（ICML’18）证明。
• Cohen等人（NeurIPS’19）的推广将该结果扩展至特征图作为齐性空间上场的网络，建立了更广泛的理论基础。
• 球谐函数自然地作为SO(3)不可约表示的矩阵元，构成球面CNN的基础。
• 紧致群上的卷积定理可通过傅里叶变换实现高效计算，显著降低SO(3)与S²相关网络的复杂度。
• 3D可旋转CNN与Clebsch-Gordan网络通过利用不可约表示与耦合规则，实现旋转等变性。
• 该理论支持参数高效的模型，在输入变换（如旋转）下具有良好泛化能力，显著降低3D与球面数据任务中的样本与模型复杂度。